• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:

    公开号:WO1989009457A1
    申请号:PCT/JP1989/000317
    申请日:1989-03-24
    公开日:1989-10-05
    发明作者:Ikuo Matsuba；Keiko Minami
    申请人:Hitachi, Ltd.；
    IPC主号:G06N3-00
    专利说明:
    [0001] 明 棚 発明 の名称
    [0002] 神経回路網 に よ る髙次情報処理方法及び
    [0003] そ の た め の最小 · 最大値探索方法 技術分野
    [0004] 本発明 は 、 認識な どの従来の計算機で は解決困難な問 題を解決 で き る神経回路網 の構成方法 と 、 画像認識 、 初 期視覚処理 、 運動制御 、 数値解法な どへ の応用 に 関 す る 背 技術
    [0005] 従来 、 多層型神轻 回路網 に よ る学習 、 記億 、 識別 な ど に つ い て 、 Mc I I eard and Rumel hartに よ る 、 " Para l lel Distributed Processing I and I " ( H I T Press, 1 9 8 5 ) に おい て 論 じ ら れ て い る が 、 最も高度 に 発展 し た 生体の脳生理学的な知見 は全 く 反映さ れて お ら ず 、 し か も実際的な応用 を 前提 と し た 場合 に 問題 と な る 回路 網 の構造 、 計算の髙速性 、 な ど につ い て 議論 さ れて い な い 。 さ ら に 、 時間 に 依存す'る対象 に 対す る 回路網 の構成 方法 に つ い て も述 べ ら れ て い ない 。
    [0006] —方、 神経回路網 を エネ ル ギ ー 最小化問題 と し て 解 く 方法 は 、 " Hop-f ield S Tank" ( Sc ience, Voに 2 3 3 PP. 6 2 5 - 6 3 3 ( 1 9 8 6 ) ) に お い て 述 べ ら れ て い る が 、 対象 と し て い る 神経回路網 は単層 に 限 ら れて お り 、 しかも実用的な計算時間内 に は解が求ま ら ない場合 がある 。
    [0007] 以下、 神経回路網をエネルギー最小化問題と して解く 際の最小 ， 最大値探索方法の従来技術について説明する 与えら れた コ ス 卜 関数 E の最小値 （ 最大値） を求める 場合に おい て 、 コス ト 関数が多数の極'値を持つ場合に は 従来法である確定的な山登 り法では、 この最小値を求め るこ と は一般に 困難であっ た。 なぜな らば、 初期値と し てある槿値の近傍の値が与え られた時には、 確定的なた めに近傍の極小値に落ち込み、 そこか ら は脱出できない 従って、 最小値は求ま らない。 従来、 この問題の解決の' ために 、 シミ ュ レ一ティ ッ ドアニ ー リ ング （ Simulated Anneal ing ) と呼ばれる確定的な山登 り法が提案されて きた 。 単鈍な言い方をすれば、 山 を登るだけではな く あ る確率で山を下る こ とも許す事に よ り 、 最終目 的地に達 し ょ う と するものである。 最もよ く 用 い ら れている方法 は、 E の最小値問題を例に採る と 、 次のよ う になる 。 先 ず、 直接に コ ス 卜 関数 E を考えるかわ り に 、 ポルツマ ン 分布 P〜 e X p ( — E / Ί ) の最大化を考える 。 ここ に 導入 し た 、 パラメ ー タ Tは溫度と呼ばれ、 ラ ンダム ノ ィ ズを発生させ確率的な取 り扱いを許すため に導入 したも のである。 従っ て、 E の最小値に達 した時に は、 T を 0 にもっ て ゆき 、 誤差な し にその最小値に停留させる必要 がある 。 Tを どの よう に し て低温に し てゆ く かの
    [0008] Coo I i ng schedu I &を決める こ とが 、 シ ミ ュ レ一ティ 、ソ ド 0 ア ニ ー リ ングの最大の 課題で あ る 。
    [0009] 従来 か ら 良 く 用 い ら れて い る Geman 兄弟 の ス ケジ ユ ー ノレ は IEEE Transaction on Pattern Analysis and
    [0010] Machine Intel l igence, voに 6 , PP. 7 2 Ί 〜 7 4 1
    [0011] ( 1 9 8 5 ) で議論 さ れて い る よ う に 、 ボルツマ ン分布 に 従っ て 状態を発生 さ 、 Τ 0 を正 の定数 と し て 、 Τ
    [0012] ( t ) = T 0 / og ( t + ) と するも ので あ る 。 こ こ に 、 t は モ ンテ カ ル ロ シ ミ ュ レ ー シ ョ ン の 回数 に相 当 す る も の で 、 こ こ で は 時間 と 定 義 す る 。 も ち ろ ん 、 t を大 き く す る と 、 T ( t ) は 0 に な る 。 こ の方 法で う ま く い く 例 は す で に い く つ か報告さ れ て い る が 、 必ず し も適用 で きな い場合も多 い 。 ま た 、 最近 Physics Letters , vol. 1 2 3 , PP. 1 5 7 - 1 6 1 , ( 1 9 8 7年 ） に お いて Szu と Hartley に よ り 論 じ ら れて い る よ う に 、 Pの 最大値へ の収束度を高め る た め 、 ポル ツ マ ン分布の 代わ り に 分布の広が り が大き い ロ ー レ ン ツ分布をも ち い て 、
    [0013] T ( t ) = T 0 / ( t + 1 ) な る ス ケ ジ ュ ー ルも 提案 さ れて い る 。 し か し 、 こ れ ら の ス ケ ジ ュ ー ル に 共通す る欠 点は 、 最小化 す べ き コ ス ト 関数の 関数形が全 く 考慮 さ れ て いな い こ と で あ る 。 どの 様 な コ ス 卜 障壁 （ 極小値 と そ の近傍の極大値で の コ ス 卜 の 差 ） を の ぼ り 、 いつ 最終値 に 達す る の か （ いつ 、 Tを 0 に す る か ） が 、 T ( t ) に 反映 さ れ て い な い 。 数字的 に は 、 両者 と も無限 時間経過 すれば 、 必ず 所望 の Pの最大値 に 到 達 す る こ と が証明 さ れ て い る 。 し か し 、 実際 に は シ ミ ュ レ ー シ ョ ン実行可 能 な有限時間内 に最小値に達する場合もあるが 、 そ うでな い場合も多いので、 それ ら の利用価値は必ず しも髙 く な い。
    [0014] 以上のスケ一ジュールに共通する欠点は、 最小化すベ き コ ス ト 関数の関数形が温度 T に反映されていない こ と である 。 従って ： 実際に はシミ ュ レーシ ョ ン実行可能な 有限時間内 に おいて最小値が求ま ら ないこ とが多い。 発明の開示
    [0015] 本発明の目 的は、 生体生理学的知見に基づく 、 あるい はその知見から推察される シナプス構造を取 り入れた最 適な神経回路網の構造を決め 、 特徴抽出、 特徴铳合、 記 億などの高度な情報処理機能を実現可能に し 、 その ロバ ス ト な認識能力を活か した画像認識、 運動制御等への応 用、 ま た はその並列処理能力 を活か した最適問題、 大規 摸数値解法等への応用を可能に する神経回路耩 に よる高 次情報処理方法を提供する こ とである。
    [0016] 上記目 的を達成するための課題は 、
    [0017] 1 . 特徴抽出
    [0018] 2 . 特徴統合
    [0019] 3 . 記憶
    [0020] を行う 神経回路網を具体的に構成する こ とである 。 脳で は上記のプ ロ セスを順次行っ て いるのであるが、 生理学 的知見 と して は、 1 . につ いて視覚情報処理系、 3 . に つ いて はシナブス結合の可塑性 と し てわずかに分っ てい る に すぎな い 。 2 . は現在 盛ん な研究分野で あ る が 、 铳 一 的な見解が得 ら れる ま で に は至っ て い な い 。 本発 明 の 神経回路網 に よ る高次 情 報処理方法 は脳 を模倣 し た 情報 処理方法で あ る が 、 1 . の プ ロ セ ス に 関 し て は 、 視覚情 報処理系で の生理学的知見 に 基づ く 神経回路網 を構成 し 3 . の プ ロ セ ス に 関 し て は 、 シ ナプス結合の可 塑性を利 用 し た 記億回路 を構成 す る 。 1 . 〜 3 . のプ ロ セ ス と も 基本的に は周 じ機能を有す る神経素子で構成 さ れ る も の で あ る が 、 神経素子 の状態を表わ す 意味が異な る 。 そ の 具体的な構成法 に つ い て は " 実施例 " の項で述 べ る 。
    [0021] 本発明 の他の 目 的 は上記従来技術の 問題点を改善 し た 最小 · 最大値探索方法を提供す る こ と に あ る 。 こ の 目 的 を達成す る た め に 、 溫度 T が 時簡 t の みな ら ず 、 関数 E に も依存 す る 、 つ ま り 、 T = T ( t , E ) と す る 。 度 T の E への依存性 を決 め る た め の指針 と し て 、 初期状態 か ら 、 最終 目 標で あ る 最小値を与え る状態 ま で に 至る 時 刻 を最小 に する こ と を要求 す る 。 t 〗 を最終 時刻 と し て ， こ の t が最小 に な る よ う に E を定 め る 。
    [0022] ボル ツマ ン分布 e X p ( - E / T ) の 1 次元空 間で の 最大化問題を例 に 採 る と 、 シ ミ ュ レ ー テ イ ツ ド ア ニ ー リ ン グ法 の基本手顚 は 、 次 の 様 に な る （ 第 Ί 1 図 ） 。 先ず 、 e X p ( - E / T ) = e χ ρ { ー / ( Ε ( x ) / 1 ) ' d x } と 書 き直 す 。 こ こ に 、 記号 ' は空 間変数 につ い の 微分 を 、 / — cl x は積分 を 表わ す 。 T が t の み 数 と す る と 、 こ の式 は 単な る 等式 で あ る 。 今 、 & る 状態 X ( ブロ ッ ク 20 1 ) と次に発生 し た状態 x ' ( ブロ ッ ク 20 2 ) における コ ス ト の差を厶 Ε = Ε ( χ ' ) — Ε ( X ) = Ε ( X ) とする と （ プロ ック 203 〉 、 X ' に移行する確率 （ ブロ ッ ク 204 ) は 、
    [0023] m a [ 1 . e x p i— A ( E T〉 } 】 となる。 状態 X か ら状態 X ' への移行を許すかどう かは、 こ の値と 0 から 1 までの一様乱数 77 ( プロ ック 205 ) と比較する こ と によ り 決める 。 従って、 も し 、 △ E く 0であれば、 必ず X ' に移行 し 、 Δ Ε ^ Οであれば、 つ ま り 、 よ り 髙 いコ ス ト になった と しても、 厶 Εの値で定 ま る確率で移 行を許すのである （ プロ ック 206 , 20 7 ) 。
    [0024] ある与え られた初期状態か ら 、 最大値に 向かう動的過 程を次の時間発展微分方程式で規定する。 d x ( t ) Z d t -— 「 H' ( t , x ) + ξ ( x )
    [0025] (a) こ こ に 、 H ( t , x ) = E ( x ) / T ( t , E ) と定 義 し 、· 温度は一股に t , Eあるいは X とも に依存するも の と仮定する。 ま た、 正のパラメ ータ Γは、 平均値 0の 加法的ガウス型ノ イ ズ （ X ) の分散値 とする 。 この動 的方程式 は、 す く な く も と定常状態において ポルッマ ン 分布 e X p { - H ( t , X ) } を与える こ と は次の様に し て簡単に分かる 。 ある時刻 t に状態が X なる値を とる 確率を P ( t , X ) とする と 、 式 （a) に対する確立微分 方程式 は
    [0026] d P ( X ) / d V d { ' ( X ) P }
    [0027] Z d X + Γ d L P / d 2
    [0028] ( b ) と な る 。 定常状態 に お け る分布 P s は 明 ら か に
    [0029] e x p ( 一 H ) に 比例 する 。 従っ て 、 最大値の採索方法 は 、 そ の P の最大値近傍 に お い て は 、 シ ミ ュ レ ー テ イ ツ ド ア ニ ー リ ン グ と 周様 に ボルツマ ン分布を利用 す る こ と に な る が 、 そ こ へ の 動 的過程 に お い て は 、 以下 に 述べる 様 に 、 あ る意味 に お いて は 、 よ り 効率的な確率分布を使 用 す る 。
    [0030] 目 的の H ( t , X ) を決め る た め の 針 と し て 、 先ず 最小時間 で探索 す る こ と を要求す る 。 つ ま り 、
    [0031] f d て = t ( c )
    [0032] を最小 に す る 。 こ こ に 、 は初期 時刻 、 t ·] は 最終 時 刻で あ る 。 t 〗 は予め分 か ら な い ので 、 こ こ で は未知の 数で あ る 。 t を最 小 に す る に は 、 直観 的 に 言っ て 、 混 度 T を 可 能 な 限 り 高め て お け ば、 容易 に 最大値近傍に 到 達で き る 。 し か し 、 問題 と な る の は 、 そ こ で の 揺 ら ぎ が Tに 比例 し て 大き く な る こ と で あ る 。 す なわ ち 、 そ の 近傍 に は す ぐ に 到達で き る が 、 真 の 最大値 に 抑 え る た め に は 、 逆 に T を小さ く し な け ればな ら な い 。 こ の 卜 レ ー ド 才 フ 的な関係を、 最小化すべきコ ス ト 関数 J で表現す る と 、 た とえば、 正の定数 L を用 いて 、
    [0033] J = / { L Z 2 T L + 1 } d て なる関数が適 ¾であ τ 0
    [0034] る 。 式 （ a ) の中に は Tではな く 、 H が入っ ているので、 与え ら れた コ ス ト E と H を用 いて、
    [0035] J = < 1 { L Z 2 ( H ' / E ' ) ^ + 1 } d r >
    [0036] て 0
    [0037] ( d ) に拡張する。 こ こ に 、 く ··· > は確立 P ( t , X ) での平 均を意味する 。 Tが X に依存 しない場合に は、 明 ら かに 前述 した コ ス 卜 に等 しい。
    [0038] 問題を整理する と 、 式 （a ) に従う 動的方程式に対 し 、 式（d ) の コ ス トを最小化するた めの ¾適な関数 H * を決 める こ とである 。 そのための具体的手顚は "実施例 " の 項で述べる。
    [0039] 図面の簡単な説明 第 1 図 は本発明の一実施例の概念、 第 2 図は神経回路 網の構成方法、 第 3 図 は特徵抽出回路網、 第 4 図 は特徴 铳合回路網、 第 5 図は記億回路耩 、 第 6 図は画像認識へ の応用例、 第 7 図 は運動制御への応用例 、 第 8 図 は最適 制御への応用例 、 第 9 図 は ^定偏微分方 程式への応用例 第 1 0 図 は本発明の他の実施例である最小最大値探索装 置の アルゴ リ スムの全体概念、 第 1 1 図 はシミ ュ レーテ イ ツ ド ア ニ ー リ ン グ の 計算方法 、 第 1 2 図 お よ び第 1 3 図 は本発 明 の応用 例 、 第 1 4 図 は 、 本発明を画像処理 に 利用 し た場合の 画像処理 シ ス テ ム をそれぞれ示 す 図 で あ る o
    [0040] 発 明 を実施 する た め の最良 の形態
    [0041] ま ず 、 本発明 に も と づ く 神経回路網 の原理 に つ い て 説 明 する 。
    [0042] 特徴抽 出用 の神轻 回路 網 は 、 第 3 図 （c) に 示す よ う 階 層 的 に 構成 さ れ た 網で あ る 。 神経素子 3 3 1 は各層 3 3
    [0043] 2 に 2 次元 的 に 配置 さ れ 、 隣接 ϋ Ρ に の み神経素子間の 結合 3 3 3 があ る も の と す る 。
    [0044] 具体 的な 回路構造を決め る に 当 り 、 生理学的な知見を 参考 に す る 。 現在 ま で に よ く 知 ら れて い る の は 、 視覚野 と 運動 に 関 す る Μ Τ野で あ る 。 こ こ で は前者の特徴抽出 に 関 す る 、 Hubel と Wieselに よ る " Recept ive f ields, b i nocu I a r interact ion and funct ional archi tecture i n the cat' s vi sual cortex" は Physiol , London , Vol . 6 0 , PP. 1 0 6 - 1 5 4 , 1 9 6 2 ) の 研究 を参照 す る 。
    [0045] 第 3 図 （a ) は 、 大脳 皮 質 の視覚領域 （ 第 1 次視覚野 は あ る い は 、 N し 野 ） に お け る方位選択 性 を示す 実験で あ る 。 大脳皮質 の表面 3 1 か ら 電極 3 2 を な な め に 注入 し て ゆ く と 、 網膜の受容野 を横 © る光 ス リ ツ 卜 の傾 き の特 定 な値 （ 実験で は 1 0 " 間 隔 ） に 反応 す る細胞群が 層 を な している 。 表面垂直方向へ は左右の眼か ら の細胞が集 中 している こ とか ら 、 モジュール構造になっ て いる こ と になる （ 第 3 図 ( b ) ) 。 左右眼か らの情報が交互に現わ れる こ とを除けば、 視覚野ではこのモジュール構造に よ り 、 プ リ ミ ティ ブな特徴を階層的に抽出 して いる こ とに なる 。 た とえば、 図形の各辺をそれに対応する屠が反応 して、 抽出 し ている こ と になる。 し かも 、 各層 に は不均 一性はな く 、 全 く 周種の神経素子で構成されている にも かかわ らず、 情報だ伝達される に ともない 、 自 己組織-化 の結果と して頗次異つた情報を抽出 しているのである 。
    [0046] 今、 この過程を数学的に表現する と
    [0047] ( i ) = S C Κ Λ ( q q i G ( q ) ] ( 1 ) と耋ける。 こ こに 、 は回路耩の履の番号、 G ( q ) は 光ス リ ツ 卜 の方位あるい はその方位に対応する回転対称 なフ一リ エ波数 q をもつ入力情報 （ 図形 ） 、 K ( q , q ) は ^ 層で方位 q を抽出する核関数、 S は回路網 で行う 演算、 F ( J2 ) は油出された層以外 は 0 になる P 数を表わす。 q ( i = , 2 , ··· 〉 は、 上記の例では 1 0 β 間隔の角度を与える 。
    [0048] 以上の よう な生理学的知見 に基づき、 式 （ 1 ) の機能を 実現できる人工的な神経回路網を構成する 。 神経素子間 の結合構造の一例 を、 第 3 図 （d ) に示す 。 下位の層 に位 置する隣接する 4 個の神経素子の状態の関数 と し て 、 上 位層 の 素子状態が 決定 さ れる 。 以 下で は 、 具体的な素子 状態 の決定方法 に つ い て 述 べ る 。 今 、 履 の 2次元位置 「 - ( X , y ) に お け る素子状態 を f < r ) で -表わ す , そ し て 、 隣接層 上 の素子間 の結合 を 、
    [0049] i ( r ) F i ( { I -1 ) ) + ξ a ，
    [0050] ( 2 , 3 , ··· )
    [0051] (2)
    [0052] なる状態方程式 で表わ す 。 こ こ に 、 ） は — 1 層 の素子を ま と め て 表わ し 、 £ Λ は付加雑音 、 F fl は 素 子間の結合 の一般的な関数を表わ す 。 入力 層 （ ^ = 1 ) で は 、 f 〗 ( Γ ) が与 え ら れて いる も の と す る 。 従来の 神経回路網で は 関数 と し て シ グモ イ ド 閲数 の よ う な 非線型飽和 関数で与え ら れる が 、 脳で の 情報処理 は多数 の 素子が 協調 * 競合勁作の 結果 と し て 、 ミ ク ロ な素子機 能 に 依存 し な い普還 的な処理が 行 わ れて い る は ずで あ る そ こ で 、 こ の 段 階で は 、 F に 対 し て 特別 な 関数型 は仮 定 し な い 。
    [0053] 式 （2) を変形 し 、 次 の よ う に 書 き 改 め る 。
    [0054] 1 δ H({f . ,})
    [0055] f , ( r) 一 f , .. ( Γ) = ― + ,
    [0056] ' i -1 0 1 ' -1
    [0057] (3) こ こ に 、 H ( { f ^ ^ } ) は を 与え れば定 ま る 関数 T _ は 正 の定数で あ る 。 ま た 、 Z δ f _ ·]は f _】 につ い て の汎関数微分を表わ す。 後で見る よ う に 、 物理 系 とのアナ ロ ジーか ら 関数 Hは系のエネルギー を表わす こ と に なるが、 F を与えた 時に常に Hが存在する と は 限らない 。 以下では、 式 （3) が与え られたもの と して 、 定式化を推める。 式（3) は層番号 につ いての階差方程 式で、 jg が大きぃ場合に は言ゎゅる ひ！^！^！^ー ^!^ 型の 確率微分方程式が導ける。 P ( f „ (r) ) を層 ί 、 位 置 「 での素子状態が f Λ ( Γ ) である確率 と する と 、 δ
    [0058] W ))一 P ( l ( 丁 ~~ P f )） d r,
    [0059]
    [0060] δ2
    [0061] Sf δ 1
    [0062] (4) となる 。 こ こに、 Dは付加ガウス型雜音 の分散である が以下で は簡単のた め 1 と お く 。
    [0063] が十分大きい場合の式 （4) の定常解 P s は
    [0064] P s 〜 e x p ( - H ( { f } ) / T _τ )
    [0065] (5) となる 。 つ ま り 、 入力された情報 （信号 ） が十分 に多数 の層を通過する と 、 式 （5 ) で記述さ れる分布に接近 して ゆ く こ と になる 。 上式の分布はポルツマン 、 あるい はギ ブス分布 と呼ばれているもので 、 Ηは采のエネルギー 、 T は温度に对応する こ と に なる 。 と こ ろ で 、 式 （ 2 ) で 表わ さ れ る 層 間 の 素子状態 の 関係 を 、 式 （ 5 ) の確率分布 を用 い て
    [0066] ex (- H ({ f ^ ))/ T ) = F exp (- H ({ f ^
    [0067] / T -1 (6) と定義 す る 。 こ こ に 、 F は以下 に 定義 す る 、 神経回路網 で行う 演算子で あ る 。 演算子 F に 課せ ら れる基本的な作 用 は 、 特徴抽 出 回路 2 "1 に お い て は 、 粗視化 で あ る 。 つ ま り 、 下履 に 位 置 す る素子状態 の平均的な値が 、 上履 に 伝播さ れ る こ と に な る 。
    [0068] 2： f Γ — Γ (7) r ' ί -1 ( ' ) → ΐ i ( r ) 左辺 の和 は 、 位置 Γ の 回 り に 存在 す る素子 に つ い て の 和 で あ る 。 こ の粗視化 に よ り 、 ロ ー カ ルな f _ の ゆ ら ぎ は小さ く な る 。 し か し 、 Η ( { f ^ _ } ) の 中 に 埋 め こ ま れ た特徴 は 失 れな い よ に F を定 め な け ればな ら な い 確率分布の変環式 (6) の 直観的な解釈 は 、 雑音成分 を消 ¾[] し て も特徴成分 か ら な る確率分布 は変化 し な い こ と を 要請 し て いる こ と で お る 。 粗視化 に よ り 一 旦 、 餍空 間 が 縮小 さ れる の で （ 第 3 図 (e) ) 、 元 の大き さ に 戻 す作用 ¾ F に 含 ま れな け れば な ら な い 。 以上 の操作 は繰込み群変換 と 呼 ばれる操作 で あ る 。 式 (6) よ り は 、 周 波数頜域 q で表わ し た 方 が便利 が よ い 。 exp
    [0069] (8) こ こ に 、 f は f （ r ) をフ ー リ エ変換し た値、 2 q は最隣接近傍につ いてのみ式 （ 7 ) の和を とつ たので 、 周 波数空間では 2倍の拡大するための変換である。 ま た 、 ス は定数であ り 、 ΐ Λ .·! ( q ) → ス £ _1 f ( 2 q ) の操作で は雜音成分は混入 しない 。 具体的なエルギ ー H を与えれば、 上記の要請を満足する演算子 F 、 つ ま り 、 定数 ； I ί と と の闋係が定ま る 。
    [0070] エネルギー H ( { ΐ η ) ) は J2 層での素子の結合関係 を表わすものである 。 一般に 、 Hは Η=Ω // (Vf 2 dr+Q2/f(V2 f ^^) 2 dr+-
    [0071] + rXTf .1clr + u//f „1 4 clr+". (9) と書ける 。 空間微分▽は隣接する素子間の結合を表わす Ω Q 0 . 「 ， u は定数である 。 今 、 素子状態を + 1
    [0072] ( 発火 ） 、 一 1 (休止 ） で表現する と 、 すべて の素子状 態の反転 { f „ } → 一 i f n } に対 して H は不変と考え ら れるので、 H に は { ΐ } の偶数次数の項 しか含ま れ ない。 つ ま り 土 1 の定義は便宜なものに し かすぎないか らである 。 式 （9 ) の第 1 項は最隣接素子間 の結合関係を 表わ し 、 素子間結合の最も重要なロ ー カ ルな特徴をエネ 15 ルギ 一 と し て 表現 し た も ので あ る 。 従っ て 、 こ の項 は ど の層 に お い て も不変で あ る こ と が望 ま れる 。
    [0073] 以上の要請 に し た がっ て 、 式 （9) の フ ー リ エ変換 を式 (8) に 代入 し 、 右辺の変換を実行す る と 、 λ 4 / V T ^ / T (10) i -1 -1 を得 る 。
    [0074] 式 （10)か ら 分かる こ と は 、 T = 4 Τ ^ _·|な る温度ス ケジ ュ ー ルが あ る 臨界的な値 に なっ て い る こ と で あ る 。 なぜな ら ば 、 こ の時 ス _1 == 1 と な り 単純な平均操作 に 対応 す る ので 、 信号が層 を伝播 す る に 従っ て し だい に 空 間的 に 均一な分布 に な り 、 最終 的 に は 、 一定分布の信号 しか得 ら れな い 。 こ れは 、 極端な平滑化処理で 、 す べ て の情報 が失わ れる こ と に な る 。 そ こ で 、
    [0075] ε ョ 4 一 ( Τ ^ / T fl ^ ) な る微小璗 を導入 し 、 式 （a) 内 の非線型項 を残す こ と に す る 。 こ う し て 、 式 （8) を実 行す る と 、
    [0076] r h r u
    [0077] I -1 i 丁
    [0078] -1 ' u h 2 ( u i -1 丁 -1 )
    [0079] (11 ) な る 係数間 の 関係を 表わ す方程式 が得 ら れる し し に h 1 h 2 は非線 な 関数で あ る 。 が 大 き い時 の式 (11 )の解 の 挙動 は 、 「 <2 = 0 ( 6 ) < 0 , u ^ = 0 ( s ) > 0となる 。 こ こ に 、 0 ( ε〉 は εの才 ーダ程度の値を意味する。 式（ 11 )に現れない Q 2 な どの 項はすべて 0 ( ε 2 ) 程度の微小量とな り 、 省絡できる 結局、 T = 4 T なる溫度スケジュールを仮定する と、 iが大きい層に対 して、
    [0080] H = Ω！ f (▽ 2
    [0081] i -1 d r + r i i -1 d r
    [0082] + u i i -1 d r (12)
    [0083] なる普還なエネルギー に接近する。
    [0084] が大きい場合の具体的な係数は
    [0085] Λ Λ
    [0086] r ε u i = ε
    [0087] 9 1 4 4 ♦ C Τ と なる。 こ こに 、 Λは最大周波数 （ - 2 π /厶， △は空 間分解能 〉 、 Gは定数である 。 温度 Τ は ^ が大きい と Τ 〜 4 のよう に増加するので 、 u は非常に小さな 値となる 。 この こ とを考慮に入れ、 式 （12)のエネルギー を フ ー リ エ成分 F ^ （ q ) を用 いて表わす と次の よ に なる
    [0088] Λ (q) I2 +「^ (q) I2 ] dq
    [0089] (13) し こで簡単のため、 Ω† = 1 と規格 した 。 こ れによ り 本 質的な特徴抽出機能が変化するこ とはない。
    [0090] 確率分布を表わす式（5) と式 （13)の Hか ら 、 q r
    [0091] i -1 I な る フ ー リ エ周波数の成分
    [0092] F _1 ( - I r ^ ^ l ) が確率 の最大値 を与 え る こ と が分か る 。 つ ま り 、 <δ — 1 層 に お い て は
    [0093] F - 1 ( "- I Γ Λ _τ I ) 成分の みが抽 出 さ れ る こ と に な る 。 今、 r fl の初期値 Γ 〗 を最大周波数 Λか ら 決 め る と 、 r < Γ ぐ Γ < Γ の よ う な願に 従っ て 、 式 （13)の値 に 近づい て ゆ く 。 つ ま り 、 下層 （ ^ ^小 さ い場合 ） に おい て 髙周波数成分を、 上履 （ ^ が大き い場合 ） に は低周波数成分 を抽 出 す る こ と が 可 能 と な る （ 第 3 図 け） ) 。
    [0094] 以上 の よ う に 構成 し た 特徴抽 出 回路辋で 、 先 に 示 し た 生理学的実験事実を模擬 し え る こ と を確認す る 。 光 ス リ ッ 卜 は あ る点 を 中心 に し た 点対称の被視覚物体で あ る 。 あ る方向 （ た と え ば垂直方向 ） を基準 に し 、 与 え ら れ た 方向 の光ス リ ツ 卜 3 7 1 の禝製 3 7 2 を第 3 図 （ 9 ) の よ う に 作る 。 す る と 、 複 製 を 含め た ス リ ッ 卜 群 は周 方 向 の 周期 関数 と し て it— に 決 ま る 。 こ の よ う に し て 作成 し た ス リ ツ 卜 を上記 回 路網 に 入力 す る 。 式 （ 13 )の 周 波数 q は 周方向周波数 と 考 え れ ば 、 逐次特 定 の 周波数を取 り 出 す こ と が 可 能 と な る 。
    [0095] 2. 特徴統合 回路網
    [0096] 特徴抽 出 回路網で抽 出 さ れ た プ リ テ ィ ブな 情報 、 た とえば、 図形の鲩郭な ど 4 1 4 が特徴铳合回路網 に入力 される （第 4 .図 （a》 ） 。 第 4 図 （a ) は 、 特徴銃合回路耩 の一例 と して、 3 層 に よる情報の铳合過程を示す。
    [0097] 第 1 履 4 1 3 に位置する神経素子 4 1 7 は 、 それぞれ プ リ ミ ティブな情報を担つ て いる。 各情報は排他的なの で、 第 1 層の全て の神経素子間 に負の値で結合する 。 つ ま り 、 ある一つ のプリ ミ ティ ブ情報に対応する素子が発 火状態にあれば、 他の素子は休止状態でなければなら な い。 もち ろん、 多 く のプ リ ミ ティ ブ情報が周時に入力 さ れた場台に は、 対応する素子が発火状態になるので、 そ れら の素子間 に は負の結合は必要と しない 。 一般には、 第一層内の素子間 に は锫合がな く て もよい 。
    [0098] 第 2層 4 1 2 に位置する神経素子 4 1 6 は、 第 1 層か ら のプ リ ミ テイブな情報で構成される情報 、 た と えば図 形に対応ずけ ら れている。 従って、 各図形を構成する辺 に対応 し た第 1 雇の素子と は正の値 4 1 8 で結合 し 、 そ れ以外の素子と は負の値 4 1 9 で結合する 。 各図形は排 他的なので、 第 2 層内の素子 圜 に は負に結合する 。
    [0099] 第 3 層 4 1 1 に位置する神経素子 4 1 5 は、 第 2 層か ら の情報で構成される高次な情報、 た と え ば複合された 図形に対応ずけ ら れて いる 。 従っ て 、 各複合図形を構成 する図形に対応 した第 2 層の素子とは正で結合 し 、 それ '以外の素子と は負で結合する 。
    [0100] 以上の よ う な特徴統合過程は生理学的に確認されてい る こ とで はな く 、 代替案はい く つ も考え ら れる 。 た と え 10 ば 、 こ の例 で は 3 曆 の神轾 回路耩 を 用 い て い る が 、 対 称 に よ っ て は 2 層 で も 、 あ る い は 4 層 で あ よ い 。 ま た個 々 の神経素子 の表わ す 状態 は 、 Ί 個 の情報 に 対 応さ せ て も ま た 情報を多数の 素子 に 分散さ せ て も よ い 。
    [0101] 第 4 図 （ b ) は 、 各層 の神轻素子 の状態を具体的 に 計算 す る た め の概念図 を示す 。 層 4 2 1 の 注目 す る 素；？ i の 状態を 4 2 2 で表わ す 。 変数 X j ( i = "l , 2 , N ) は + 1 ( 発火状態 ） 、 一 1 ( 休止状態 ） と す る 。 注 目 す る素子へ の入力 は 、 周 じ廣 内 の素子 j 4 2 3 と 他の 層 内 の素子 k 4 2 4 か ら の合計であ る 。 前者は -一般 に 負 の効果を もつ ので一 W jj1 ( < 0 ) 4 2 5 なる結合を 、 後者 は正 、 負 の両方の結合 WJ k 2 4 2 6 を す る 。 つ ま り 全入力 は
    [0102] - ∑ W X + (15)
    [0103] と 表わ せ る 。 全入力 が あ る し き い 値 よ り も 大 き け れば素 子 は発火 し 、 そ う で な け れば休止 す る 。 こ の手頗で各羼 の各素子状態を 決定 す る こ と も 可 能 で あ る が 、 も う 少 し エ レ ガ ン ト な 方法を 以下 に 示す 。 式 （ 15 )と X j の積 を と る と 、 発火 、 休止の両状態 に お い て こ の積 は 最大値 と な る ので 、
    [0104] E ( { X } ) = - ∑ W ： j X ： X ： + ∑ Θ X (16)
    [0105] I j J J i を最小に する状態を求めればよい こ と になる。 こ こ に 、 W j j= - W j j1 + W j j2 , 0 は しきい値を表わす。
    [0106] こ のよ う に素子状態をエネルギー 関数式 （ 16 )の最小値 を与える状態と し て決定する方法は、 Hopf ield 8 Tank に よる " Computing w i th neural ci rcuits" ( Science Voに 2 3 3 , PP. 6 2 5 - 6 3 3 , 1 9 8-6 ) に示され ているが 、 本発明のよう に多層 に存在する神経素子を扱 つ ているもので はなく 、 単一層内の素子のみを考えて い る 。 こ の方法では、 先に示 し た下履か ら頃に計算 してゆ ぐので はな く 、 一挙に全ての層の素子の状態を並列的に 計算できる。 したがって 、 式 （ 16 )の定式化は並列計算向 の アルゴ リ ズムである.。
    [0107] 式（ 16 )のエネルギーの最小値を求める こ と は、 実際非 常に困難である 。 なぜな ら ば、 状態 X j が ± 1 の 2 値な ので、 多 く の極小値が現われ真の最小値が う ま く 求ま ら ない 。 この よ う な背景のも と 、 K i rkpatr ί ck, Ge I att, Vecchiに よ る " Optimizat ion t>y simulated anneal i ng " ( Sc ience Voに 2 2 0 , PP. 6 7 1 - 6 8 0 , 1 9 8 3 ) は確率的繰返し に よる最小値探索方法である s ί mil I a ted anneal ing 法を発明 し た 。 この発明の本質は、 潟度とい う パラ メ ー タ を導入する こ と に よ り 、 状態にゆ らぎを与 え、 極小値か ら脱出できる よ う に し た こ とである 。
    [0108] H 0 p t i e I d と Ta n kは、 さ ら に 、 x j =·- ± 1 の非連続 Sか ら x i = tan h ( y j Z定数 ） なる変換を通 じ 、 連続量 y j ( - oo < y j く ∞ ) の 問題に した方が よ り低いエネ ルギ一が得 ら れる こ と を見い出 し た 。 こ の方法の欠点は 非常に 時間がかかる こ と cある。 し の点を改良 し た最小 ♦ 最大値探索方法につ いて は 、 後述する 。
    [0109] エネルギー式 （16)の最小化は上記のよ う な方法 に 限ら れた もので はな く 、 代案 と して 、 た と えば、 以下の方法 がある 。 こ の方法は 、 上記の'方法 と は異な り連統化のた めの tan h 関数を導入 しな く て すむので、 計算性能がす ぐれて いる 。 シ ミ ュ レ ー テ イ ツ ド アニ ー リ ング法 に よ り エネルギーの最小化の代 り に 、 確率 e p ( - E / T ) の最大化を考える 。 こ こ に 、 T は正 の八ラメ タ ーであ る こ の確率を連続変数 z ( - oo < Z ： < 00 ) を導入 し て 次の よ う.に書き改める と ができる e X D ( 一 Eノ T )
    [0110] / 门 exp[ ∑ z j + ( W ) U j J d i =l 2 i I， J
    [0111] (17) し れは、 等式
    [0112] ( 2 π ) / Π e d
    [0113] i
    [0114] 1
    [0115] を利用 すれば容易 に証明でき る。 ま た 、 （ W ) 2 j」は行 列 Wの平方根の （ j , i ) 成分を意味する 。 簡単の た め こ こで は 、 し き い値 0 を 0 し 、 結合定数 W uは添字 i j に 関 し対称 （ W W ： j ) と仮定 した し の仮定 に よ
    [0116] J り 本質的なァルゴ リ ズムの特徴は失われない 。
    [0117] 式 （17)の積分の核閿数を X 〖 の闋数 と見なす と 、 その
    [0118] 1 最小値は明 ら かに 、 X 一 Θ [ ( W ) J I I と
    [0119] J
    [0120] 求ま る 。 ま た、 核闋数を の関数と見なす と 、 下に凸
    [0121] な 2次関数なので、 z Ί = ∑ ( W ) 2 I j X j が核関数の 最大値を与える 。 ここ に、 S はその引き数が正の とき 1 負のとき - 1 となるステップ状の関数である。 従って
    [0122] X
    [0123] X 一 θ [ Ζ ( W ) 2
    [0124] J « ： ]
    [0125] Θ [ I w (18)
    [0126] と なり 、 神経素子の基本的な機能を表わす こ と になる つ ま り 、 式 （17)の核関数の連続変数 に関す る最大化 を実行すればよい 。
    [0127] 第 4図 （C ) は 、 神経素子状態 X | 43 1 がその隣接素 子 X i 43 2 と W j j 43 3を通 じて結合 し て いる元の神 経回路網 と 、 式 （17)に従っ てそれと等価な連続変数 Z 4 3 4を素子状態に する回路網 との関係を示す。 等価な 回路網の結合定数は 、 す べて Ί である 。 そ し て 、 等価回 路網で計算し た変数 Z i 43 4か ら結合定数の平方根
    [0128] ( W ) の積和演算 4 3 7お よび比較演算 4 3 8を通 し て 、 素子状態 X j 4 3 9 を決定 す る 。
    [0129] こ の よ う に し て 構成 し た 等価回路 の特徴 は 、 Hopf ield と Tankの よ う に 連続化の た め に 新 た に tan h 関数を導入 す る必要 は な い の で 、 計算時間 < C P U 時間 ） が少な く て 済む。 さ ら に 、 式 （ 17)の核関数 は z | の 2 次関数な の で 、 そ の 最小値 を与え る状態 z i の お お ま か な値が予測 で き 、 し か も 、 極小値が存在 し な い こ と か ら 、 初期状態 か ら 最小値 を与 え る状態 ま で急速 に 収束す る こ と が期待 で き る 。 元 の最小化問题で は 、 X i が 2 値な の で 、 無数 の極小値が現れ 、 初期値を決 め る の が極 め て 困難で 、 し かも適切 な初期 値を定 め な いで最小値状態 が求 ま ら ない 場合 が多かっ た 。
    [0130] 以上 の方法 の具体的な アルゴ リ ズム を 、 第 4 図 （ d ) に 示 す 。
    [0131] [ アルゴ リ ズム ]
    [0132] ①計算の 開 始 。
    [0133] ②与 え ら れた 結合定数 Wの平方根を求め る 。 一 例 と し て 、 ∑ X ； X k」· - W i」·を 求解 す る こ と に よ り
    [0134] k
    [0135] X = ( W L ) を決 定 す る （ ブ ロ ッ ク 4 4 1 〉
    [0136] I J II JJ
    [0137] ③連 続変数 Z ( i 1 , 2 , N ) の初期 値を設 定 す る （ ブ ロ ッ ク 4 4 2 〉
    [0138] 1
    [0139] ④ Z i を も と に 、 X ,· = — [ ∑ Z ： ( W 2 ) 」 | ] か ら 神絰素子状 態 X ： を 決め る （ ブ ロ ッ ク 4 4 3 ) 。 こ こ に、 S はその引き数が正の とき 1 、 その他の とき
    [0140] — 1 と なるステップ関数である 。
    [0141] ⑤④で決定 した X j をも と に 、 式 （1 7 )の核関数を最大 に する Z i を、 例えばモ ンテカ ルロ法を用 いて計箅 する （ ブ ロ ック 4 4 4 ) 。
    [0142] ' ⑥収束判定を行い、 収束 し なければ④， ⑤を繰り返 し 実行 し 、 収束すれば次のステップに移る （ ブ ロ ッ ク 4 4 5 ) 。
    [0143] ⑦計箅の終了。
    [0144] 3. 記億回路網
    [0145] 特徴铳合回路網で铳合された図形な どの高次情報は、 第 5 図 （a ) に示すよ う な神経回路辋で記憶される 。 高次 情報の入力パタ ー ン 5 1 4 は最下位の入力履に入力 さ れ 上位の層 に伝播 し、 最上位の出力履で出力パタ ー ン 5 1 5 が出力 される 。 各層内 5 1 1 に配置されている神経素 子 5 1 2 は、 入力パタ ー ン に対応 して 、 一次元あるい は 二次元的に並べら れて いる 。 また 、 .各素子状態は発火状 態の時 Ί 、 体止状態の時一 1 の 2 個の値 しか と ら ないも のとする 。 多値の場合 に は、 素子数を増加する こ とで取 り 扱う こ とができる 。
    [0146] 記憶回路網の主な機能は、 学習 5 1 8 によ り 、 入出力 パタ ー ンの関係を記憶する こ と にあ る 。 た と えば、 ク ラ ス分けの よ う に入力パタ ー ンが どの ク ラ ス （ 出力パタ ー ンを ク ラス と する 〉 に入るのかを記億 し た り 、 手書き文 字認識のよ う に手書き文字 とそれに対応する正 しい文字 と の 関係を 記憶 す る 。 あ る い は 、 そ の勁作が未知 な 制 対象 に 対 し 、 学習 に よ り 、 適 切 な制卸 も 可 能で あ る 。
    [0147] こ の よ う な多層神経 回 路網 で学習 さ せ る方 法 は
    [0148] HcC I e I and , Rume I hart に よ る " Paral lel Distri ut Peocessing I and I " ( HIT Press , 1 9 8 6 ) すで に 開発 し て い る が 、 以下 に 示す欠点の た め 、 そ の 用 化が狭い 範囲 に 限定 さ れ て い る 。
    [0149] ( 1 ) シナプス結合構造
    [0150] 上記文献 に 示さ れて い る よ う.な従来法 に お い て は 記億を す ベ て の シ ナ プ ス結合 に 分散 さ せ る と い う 観 か ら 、 すべ て の素子閭 に シ ナプス結合を張 り 巡 ら し 各 シ ナプス の担 う 情報量 は わず かな も の に な り 、 連 記憶の よ う に不完全 な 情報 が与 え ら れて も 完全 な情 を想起 す る こ と が で き る 。 し か し 、 各 シ ナ プ ス結合 学習 に よ り 変更 す る た め の 時 閭 がそ の総数 に 比例 す の で 、 膨大な 計算 時 P を 必要 と し 、 実用 的 に は望 ま く な い構造で あ る 。
    [0151] (2) 学習 アルゴ リ ズム
    [0152] 上記文献 に 示さ れて い る 従来 の学習 ア ルゴ リ ズム ゾ Sッ ク プ ロ パゲ ー シ ョ ン で あ る 。 こ の方法で は ま ず シ ナプス結合 の適 当 な初期 値 を 設定 す る 。 こ の 初期 ナ プス結合 に 基づい て 素子状態を下瞎 か ら 上層 に 向 て 顚次計算 す る 。 出 力 さ れ た 値 は一 般 に 望 ま し い教 ノヽ。 タ ー ン 5 1 6 と は異 な る の で 、 そ れ ら の差 5 1 7 求 め る 。 そ し て 、 そ の差 を 低減 す る よ う に シ ナ プ ス 合を修正 5 1 9 する 。 以上の操作を差が 0 になる まで 繰 り返す。 こ のよ う なフ ィ ー ドパッ ク機能を本質 とす る方法は直観的に分か り 易 く プロ グラム化が容易であ る反面、 計算時間面での効率はよ く ない。
    [0153] ( 3 ) 記億の生理学的知見
    [0154] 上述 し た よ ラ なシナプス結合の可塑性を基準に した 記億は、 生理 的に長期記億に粗当するものである。 しか し 、 心理 的な実験 に よ る と 、 長期記憶の他に、 シナプスの可 性を前提と.し ない短期記億の存在が明 ら かにされてお り 、 その両記憶メ カ ニズムを工学的に 応用するこ とで、 従来よ り もさ ら に性能の高い記憶方 法が得 られる可能性が秘め ら れて いる 。
    [0155] 以上の背景のも と 、 本発明.で は記億に関する新 し い方 法、 その代案を与える。 以下で は 、 長期記憶 と短期記憶 を別々 に る
    [0156] 3. 1 . 長期記
    [0157] 神経回路網で はデータ あるい はパタ ー ン はその ま ま の 型で記億される ので はな く 、 シナプス結合の値 と し て 回 路網-内 に分散 し て記憶さ れる 。 つ ま り 、 分散的に符号化 される 。 今、 入力パタ ー ン と し て N 個のデー タ I |
    [0158] ( i = 1 , 2 , . N ) が与え ら れた と する。 一般に 、 入力 タ ― ン は 次元、 2 次元、 2 値、 多値のいずれで あっ て ち よい 。 値の場合 はデー タ個数を殖やす こ と に よ り 、 入カデー タ I Ί は 2 値に変換できる ので 、 .以下で は I ； は 2 値とする 入力 パ タ ー ン I j 5 1 4が上層 の方 に 伝播さ れて ゆ く 過程 は 、 次 の よ う に 定式化で き る 。 神轾素子 へ の全入力
    [0159] T v と 出力 の 関係を 、 = F ( Τ ν ) と す る 非線型 関 数 Fは 、 飽和状態で 出力 15 が ± Ί と な る よ う な 関数で 、 し き い値 をもっ た シ グモ イ ド 関数 が 代表的で あ る 。 ·2 曆 内 の 素子の 出力 を f i と す る と
    [0160] ( ) = F {J I. W ij ( 〉 f j ( 1 ) }
    [0161] (19) な る 関係式 が得 ら れる し し W ( J2 ) は （ ^ 一 1 ) 屨 内 の i 素子 と ^ 層 内 の i 素子 と の シ ナ プ ス結合の値を 示す 。 W j jの す ベ て の j (ςつ い て 値を も っ と 、 （ ー 1 ) ϋ内の すべ て の素子 と の結合が存在 す る こ と を表わ す 。 ( - 1 ) 層 内 の素子 に つ い て の和 は 、 入力 デ ー タ 数 N と は異 つ て も よ い 。 式 （ 19 )の 関係を入 力 層 ( = 1 ) か ら 出力層 ( = L ) ま で順次適用 し て ゆ く と 、
    [0162] ( し ） W j ( し ） F { ∑ W」 レ （ L 一 Ί )
    [0163] { ∑ W pq ( 2 ) I j } } }
    [0164] (20) を得 る 。
    [0165] 従っ て 、 学習 に よ り 記憶す る こ と は 、 式 （20)の 出 力 f j ( L ) が 教師パ タ ー ン 5 1 6 と 等 し く な る よ う に シナプス結合 W | j ( ^ ) ( i = 2 . 3 . …， L ) を決 定する こ とにある 。 ところで、 式 （20 )は N 個の方程式系 であ り （ こ こで 、 出力 も N 個ある と仮定する ） 、 未知係 数 W u ( ) は、 全ての素子が結合 している とする と 、 N 2 ( L 一 1 ) 個ある 。 つ ま り 、 未知数が過冗長となつ ている。 一シナプス当 り の情報躉は N Z N 2 ( L - 1 ) = 1 / N ( L - 1 ) の大きさ と考えるこ と ができる 。 N あるい は丄 が大きい と、 各シナプス はわずかな情報 しか 担つ て いないので、 た と えぱ連想の よ う な柔钦な処理が 可能 となる 。 し か し 、 実際の脳に おいて は、 N が 1 0 0 億以上もあるこ とか ら上記の比は実質的に 0 になる 。 ま た、 脳では全て の神経素子がシナプス結合を して いるわ けでもない。 この こ.と は、 シナプス拮合におる種の構造 が存在する こ と を示唆 している 。 さ ら に 、 脳内の一様な 神経回路網を考える と、 与え ら れた入力の種類に依存す るよ う な対象依存型の構造を形成 し ている と は考え ら れ ない 。
    [0166] 本発明で は、 脳生理学的知見 に基づき 、 シナプス結合 の最適な構造を決定する 。 従来の 工学的応用を目指 し た 神経回路網では、 各シナプス結合 は学習 に よ り変化 し て ゆ く が、 各シナプスの担 う 情報 は平均的に は全く 一様で ある。 つ ま り 、 W 」 （ ^ ) の添字 i , j に 関する依存性 はあ ま り 大き く ないのである 。 こ のため 、 すべてのシナ ブスを変更し なければな ら ない こ と にな り 、 計算時間的 に実用化を困難に し ている 。 現段階 におけ る脳生理学的 実験 は 、 シ ナ プス結合 の詳細 な 構造 ま で は 明 ら か に し て い な い 。 む し ろ 、 あ る種の 統計的 、 つ ま り マ ク ロ な構造 ぐ ら い し か把握 し て い な い の が現況であ る 。 し か し な が ら 、 そ のマ ク ロ な構造 は ミ ク ロ な シ ナプス結合構造 か ら 定つ て い る の で 、 以下 に 示 す よ う な方法で 、 ミ ク ロ な シ ナプス構造を推察す る こ と は可 能で あ る 。
    [0167] 第 5 図 （b) は 、 Hurakaro i et alに よ る " A q u a I i t a t i v e Study of Synapt ic Reorganizat ion i n Red Nuc leus Neurons af ter Lesion of the Nuc l eus I n t e r p o s i t i t u s of the Cat ，， ( Bra i n Research, Vo l , 2 4 2 , PP. 4 1 - 5 3 . Ί 9 8 2 ) に よ っ て 、 実験的 に 得 ら れた マ ク ロ な構造 の一例で あ る 。 上 図で は 、 大脳 一赤核シ ナプス の 変性終末が付着す る シ ナ プ ス 数 丁 5 2 2 を 付着場所で あ る樹状突起 の直径 R 5 2 4 を そ の樹状 突起の翊胞中心か ら の 距離 X 5 2 3 の 関数 と し て 表わ し た も の で あ る 。
    [0168] 2
    [0169] 上 図 に お い て 、 丁 〜 R _ ひ （ ひ - 一） 、 下 図 に お い て
    [0170] 3
    [0171] R 〜 x 一 μ ( β = ) な る 関係が得 ら れ て い る η こ こ に 〜 な る 記号 は 比例 関係 を表わ し て い る 。 以上 の 結 果 は 、 数多 く のサ ンプル を用 い て 得 ら れた 統計 fi: に 関 す る お の で あ る 。 両 図 は 一 見無 関係 の よ う に 見 え る が 、 シ ナ プス 結合構 造 か ら の帰着 と し て 深 い 関係が存在 す る 。 こ れを 示 す こ と に よ り 、 シ ナ プ ス結 台 の 最適 な 構 造が 推察で き る 。 樹状突起の分岐は、 第 5 図 （ c ) に示すよ う に 2 分岐で ある 。 n 回分岐する と合計 2 n 本の突起 5 3 1 に なる 。 こ の分岐はかな り一般に見 ら れる樹状突起の分岐方法で ある 。 樹状突起中を伝播する信号 はパルス列であ り 、 そ れが情報の伝達媒体である 。 従っ て 、 情報の伝達効率が 各分岐に よっ て異なる はずである 。 た とえば、 樹状突起 の断面を円で近似する と、 伝達効率は直径 R に依存する 今、 n 回分岐 し た枝の直径を R n 5 3 2 、 その次の分 岐 し た枝の直径を R n + 1 5 3 3 と する 。 こ の枝を流れる 情報を I p 5 3 4 、 I n + 1 5 3 5 で表わす 。 こ こでは等 価回路的に情報の流れを電流の流れに置きかえている 。
    [0172] の枝で消費される エネルギー を考える 。 電力 に相当 す るエネルギ一 は 、 明 ら かに I / R に比例する た だ し 、 抵抗は突起の断面積 4 π R に は反比例する とを用 いている の枝が空間 に 占める休積は
    [0173] 4 π R n 2 X ( 枝の長さ ） であるが、 正体系は可能な限 Ό 少ない空間で済ませる よ う に調整 している と考え られ る。 先のエネルギー と この体積のすべ て の枝につ いての 和をとる と 、
    [0174] I " 2 · ゥ - 2 +∑ ( 4 7Γ R n 1 X長さ ） X 係数 （2 1 ) 、 ' n
    [0175] n R n. n
    [0176] となる 。 こ こ に 、 係数を次元を合わせるた めの正の定数 である 。 こ れを最小化する こ と は、 同 じ情報遒を伝致す る の に 可 能な 限 り 少な いエネルギ ー 、 可 能な 限 り 少な い 空 間 を利用 す る こ と に よ り 達成す る こ と を数学的 に 表現 し た も ので ある 。 今 、 長さ 、 係数を一 定 に す る は 、 式 (21 )の R n に つ い て の微分 を 0 に お く こ と に よ り 、
    [0177] R (22)
    [0178] な る 関係を見た す 場合 に 、 式 （21 )が最小 に な る こ と が分 かる 。 2 分岐 し た枝に 流れる電流 に 関 し 、
    [0179] I η = 2 I η + 1 が成立す る ので 、 こ れ と 式 （22)よ り
    [0180] R η +1
    [0181] (23)
    [0182] R Γ2
    [0183] を得る 。 つ ま り 、 1 回 の分岐で樹状突起の 直径 は
    [0184] 1 / に な る 。
    [0185] 細胞 か ら 出 る 初期 の樹脂突起の直径を R o と す る と R 0 / Γ2 R η と な る ので η回 の分岐で
    [0186] 2 n x 2 β
    [0187] (24)
    [0188] 本の枝が現わ れる 。 こ こ に 、 全枝の 長 さ を X と し 、 R η 〜 X — な る 関係 を用 い た 。 式 （24)は細胞中 心か ら 距離 X に あ る 分岐枝の 総数を表わ す式 に なっ て い る 。
    [0189] 式 （21)は シ ナ プス結合の ミ ク ロ な構造 に 関 す る仮説で あるが 、 こ の仮説に羞づいて導いた一連の結果式 （22)〜 式 （24)が生理学的実験事実である第 5 図 （b) を説明 し う るものである こ と を以下に示す。 第 5 図 （c) に示すよう に 、 直径 L の球を考える。 こ の球の内部の細胞から球の 表面にた ど り つ 'く 樹状突起の総数 Qを計算する。 この球 内 に細胞が一様に分布している とする と 、 式 （24)よ り 球 表面にたど りつ く 全樹脂状突起数は次の よ う になる 。
    [0190] Q〜 L X 2fJ X d X sin θ ό θ ό ψ
    [0191] 〜 L 2 3 +2 (25) こ こで 、 x d x sin 0 c! 0 d は球内の微小体積を、 Θ 、 は極座標系における独立な角度を表わ .す。 式（25) は Qが球の直径 し に関 し 、
    [0192] L 23 +2の依存性を示 して いる。
    [0193] 一方、 別の観点か ら Q に対する別の数式を導く 。 全樹 状突起数 Q は明 ら かに 、 球の直径 L と球表面におけるシ ナプス結合数 T に関する 。 この関係を一般に Q = f ( L , T ) (26) と表わ す 。 T依存性は、 第 5 図 （b) の実験事実を取 り 入 れるため に考慮 したものである 。 今、 直径 し の球の代り に 、 直径 し ' = b L ( b > ) なる小さなスケールで 考える。 こ の変換に伴い 、 丁 、 Q はそれぞれ、 丁 ' - b k 1丁 、 Q ' = b k2 Qな る 値 に 変換さ れる 。 丁 、 Q は と も に 球表面で定義さ れ て い る 値な の で 、 明 ら か に k 1 = 2 、 k 2 - 2 で あ る 。 つ ま り 、 元 の ス ケ ー ル し に 対 し 、 小さ な ス ケ ー ル L ' を単位 に し て す ベ て の ¾ を計 測 す る と 、 2 次元的 に あ ら わ さ れ る 量 T、 Qは 表面積の 加 に 比例 し て増加 する 。 こ の よ う に 変換 し た で計測 し て も 、 式 （ 26 )で表わ さ れ る 関係式 は変化 し な い 。 し た がっ て 、
    [0194] Q ' = f ( L ' , T ' ) f ( し ， T 〉 = b -k2 ( b _ 1 し b k 1 し ）
    [0195] (27)
    [0196] を得 る 。 球の 直径 L は任意な ： ίΐな の で 、 す べ て の し に つ い て 上式 を 篛足 す る IQ数 f ( L ， Τ ) を求 め る必要があ る 。 結果 は 、
    [0197] -k2
    [0198] f ( L , T し f 1丁 ） (28)
    [0199] と な る し し に 、 f は式 （27 )だけ で は 定 ま ら な い 関 数で あ る 。 と こ ろ で 、 実験 か ら 、 シ ナ プス数 Tは 、 T〜 R 2 X 2 の よ う に 細胞中心 か ら の距離 X に 依 存 す る 式 ( 24 )よ り Q 〜 X 2/3 な る 式 を こ の 関係式 に 代入 す る と Q 9457
    [0200] 34
    [0201] 2
    [0202] 〜丁 ひ なる團係式を得る 。 これは一本の樹犹突起に P し て得ら れた ものであるが 、 多数の樹状突起の桀合休に対 し ても 、 同様に成立するも の とす 。 する と 、 式 （28)の
    [0203] . 2 2
    [0204] k 一 - 未知関数 f は f ( Κ κ ' T ) 〜 し α Τ α なる依存性を示 すこ と になる 。 従っ て、 式 （28)は
    [0205] 2 2
    [0206] -k9 + - - (29)
    [0207] Q〜 し Γ となる 。 これが全樹状突起数 Q に対する別の表式である 式 （25)と式 （29)の L依存性か ら 、
    [0208] 2 k
    [0209] 2 3 + 2 = - k 2 + (30)
    [0210] を得る。 この関係式 に 、 k = k 2 2を代入する と
    [0211] 2
    [0212] 一 一 3 = 2 (31 )
    [0213] 2
    [0214] こ の関係式 は、 ま さ し く 、 実験式 ひ - 一， i3 = 1 で成立
    [0215] 0 するものであ り 、 以上 に仮定 し た シナプス結合の ミ ク ロ な構造が正 しい こ と を示 し て いる 。 つ ま り 、 シナプス結 合の最適な構造が、 式 （21 )の関数を最小に す る よ う に 決 つ ているのであ る 。 情報 を電流 に 対 応さ せ て い る ので 、 伝達媒体の樹状突 起の 断面積 4 R n 2 に 比例 （ 式 （22) ) し 、 一 回 の分布 で伝達可 能な情報量 は "！ ノ 2 に な る 。 第 5 図 （ d ) に 、 分 妓 5 4 1 に 従っ て 伝達可 能 な情報 呈 · 5 4 2 の割 合を示 す 。 本図 か ら 、 6回 分岐す る と 、 元 の 情報垦 の 1 %程度 に な り 、 実質上 、 情報伝達不可 能 に な る 。 ま た 、 3 回程度で も Ί 0 % に な る 。 つ ま り 、 実質 的 に 、 3 〜 4 回 の分皎を 考え れば十分 に なる 。 た と え ば 、 神経素子 5 4 5 が 、 上 層 5 4 3 内 の素子 と 結合 し て い る場合を考 え る と 、 素子 5 4 5 直上 の素子の回 り の 24 = 1 6個 の素子 群 5 4 4 と の結合の みを考え れば 良い 。 こ こ で 、 樹脂突起の分岐 は 中心 に な る素子 か ら近接す る素子 に 頗次分 妓 し て い く も の と し 。
    [0216] 樹状突起 を伝達 す る 情報量 は 、 人 工 的な 神 経回 路網で は シ ナ プス結合 の大 き さ W u ( 式 （16)) と し て表わ さ れ て い る ので 、 W j」の大 き さ は第 5 図 （ l ) の 表 に 従っ て 、 そ の大き さ を 変 えな け ればな ら な い 。 た と え ば 、 上層 と 下層 の周 じ 位 置 で の 素子結合 を 出 発 点 に す る と 、
    [0217] W nn(i), i / W i, i = 0 . 5 , W sn ( i ) J / W ^ i / W j ( j = 0 . 2 5 な ど と な る 。 こ こ に 、 π n ( i ) は i の最隣接素子 、 s n ( i ) は こ の 第二 隣接素子を表わ す 。 も ち ろ ん 、 記億 の こ と を考 え る と 、 学習 に よ り シ ナプ ス 結合が修正 さ れな け ればな ら な い が 、 そ れ に よ る 修正度 は小 さ い も の と 考 え ら れる 。 従っ て 、 上 の 比 は あ ま り 大 き く 変化 し な い も の と 思わ れる 。 以下で は 具 休 旳な学 則を考える 。
    [0218] 従来の学習法であるパックプ ロ パゲーシ ョ ン法は、
    [0219] HcCI lendと Rumelhart に よる " Paral lel Distributed Processing ' I and I ，， （ HIT press, 1 9 8 6 ) に詳 し く 論 じ ら れている。 その基本的な考え方は、 式 （20)で 与え ら れた出力 ず 卜 （ し 〉 を用いて 、 次の 2乗誤差 eを 最小に する よ う にシナプス結合を、 上羼か ら下層へ照次 定めて ゆ く 。
    [0220] e ∑ { f i ( L ) - d ： } 最小化
    [0221] 2 i
    [0222] (32) 具体的に は、 d e / d W j j ( ^ ) = 0 ( = L ， ヒ ー 1 …， 2 ) を頫次最急勾配法に よ り定めてゆ く 。 バックプ 口バゲ一シ ヨ ン法では、 すべて の素子間 に結合されたシ ナプス結合に対し、 式 （32)に よ り修正 し てゆ く 。 このた め、 シナブス数 2 ( L - 1 ) に比例 した計算時閽がか かる ため、 実用的には有効な学習法でなかっ た。 しか し た とえば、 第 5図 （d) のよ う なシナプス結合構造にする -と 、 全結合数は、 1 6 N ( し一 1 ) とな り 先の数に比ベ 1 6 X N になっている。 Ί Ο Ο 0素子数を考える と、 わ ずか . 6 %である 。 分岐数を 5 と し てち、 3 . 2 %程 度に しかすぎない o
    [0223] [ ァルゴリ ズム ]
    [0224] 以下、 処理手顚を第 5 図 （e) に よ り 説明する ①計算の 開始 。
    [0225] ②素子状態 f i ( ί ) ( i - 1 , 2 , …， L 〉 お よ び シ ナプス結合 w u ( ^ ) ( I 2 , 3 , …， L ) の 初期値を設定 する ( ブ ロ ッ ク 5 5 1 )
    [0226] ②素子状態 ( ) ( a 1 , 2 , ··· , し ） お よ び シ ナプス結合 W i j ( ） ( = 2 , 3. , … ， し ） の 初期値を 設定 す る 。 （ ブ ロ ッ ク 5 5 1 )
    [0227] ③与え ら れ た 入力 か ら 素子状態 ( ） を下靨 か ら 上曆 へ願次式 （1 9 )に 従 っ て 計算 す る か 、、式 （1 7 )を用 い て 最小化 を実行 し て f i ( ) を 決定 す る 。 （ プ ロ ッ ク 5 5 2 )
    [0228] ④第 5 図 （d ) の よ う に 決 め ら れた 分岐数 に 従っ て シ ナ ブス結合構造を定 め 、 そ れ ら の シ ナプス に 対 し 式 ( 32 )を最小 に する よ う に 結合定数 W i j ( ^ 〉 を上層 か ら 下層 に 向っ て頫次修正 す る 。 （ プ ロ ッ ク 5 5 3 )
    [0229] ⑤収束判定 を行 い 、 収束 し な け れば③ 、 ④を繰 り 返 す 。
    [0230] 収束 す れば⑥の エ ン ド へ 。 （ ブ ロ ッ ク 5 5 4 )
    [0231] ⑥計算 の終 了 。
    [0232] 以上 に 考案 し た学習法 の他 、 以下 に 示す よ う な 代案が あ る 。
    [0233] 代案 1 .
    [0234] 従来の バ ッ ク プ ロ パゲ ー シ ョ ン法 や第 5 図 （ e ) の ァ ル ゴ リ ズ ム で示 し た 方 法で は 、 シ ナ プ ス 結合 W i jが す べ て 独立 と の仮定 に 基づい て い る 。 そ こ で先の 考案 し た 学習 法で は生理学的知見 に 基づい て 、 伝達情報 と い う 観点か ら必要十分な結合構造を決定 し た 。 その結果、 学習 にか かる時間を短縮する こ とを可能と した 。 しか し 、 人工的 な神経回路網 において は別の観点か ら シナプス結合を低 減できる 。
    [0235] 今、 層間ではすべて の神経素子が結合 し ている とする （ シナプス結合 W j j ( <2 〉 を別な変数.€ «j ( i ) から生成 する。 つ ま り 、 元の N 2 個の結合変数の代り に 、 それよ り も次元の低い変数か ら生成するのである。 その次元を M と し 、
    [0236] W j j ( ) = ώ> [ ^ k ( i ) ] ,
    [0237] M < N ( 33 ) と する。 こ こ に 、 ω は生成関数、 ξ ( k = 1 , 2 , … Μ ) は Μ次元の変数と する。 式 （33 )は、 第 5 図 （a ) に示 し fc方法の一般化になっている。 ある層の j 素子が上層 の各素子と結合し ている状況を考える。 シナプス結合
    [0238] を電流、 R uをその断面の直径、 とする と 、
    [0239] + ( 4 π R j i 2 ) x係数 } ( 3 4 ) を最小に する よう に、 R j jを決めればよい 。 ただ し 、
    [0240] R 'u = 0 の とき はその （ i , j ) 間 に は拮合がないもの する 代案 2
    [0241] 今 ま で の方法 は 教 師パ タ ー ン d j 5 1 6 が与 え ら れた 時 に 、 2乗誤差式 （ 32 )が最小 に な る よ う に 上騰 か ら 下曆 に 向っ て 、 シ ナ プス結合 を顚次修正 し て ゆ く 。 こ の よ う な橾 り 返 し 法以外 に も 、 シナプス結合を手早 く 決定す る 方法が あ る 。 つ ま り 、 解析 的 に 決定 す る こ と で あ る 。
    [0242] 式 （20)の 関数 F は非線形飽和 関数で あ る が 、 た と え ば シグ モ イ ド 関数を使用 す る 。 シ グモ イ ド 関数 は 大 ま か に 言っ て 、 飽和 す る部分、とそ の部分 に は さ ま れた 線形 に 変 化 す る 部分 に 分 け る こ と が で き る 。 こ の線形変化 を F = A + B x と 近似 す る 。 今す ベ て の素子 が こ の部分で挙動 し て い る場合 を想定 し て 、 シ ナ プス結合 を 決定 す る 。 本 発明で は例 と し て 、 3 曆 の神経回路網 を 考 え る 。 式 （20) を こ の近似 を用 い て 書き改め る と
    [0243] A + B { A I W j j(3) + B ∑ W j j (3) ∑ W jk(2)Iし }
    [0244] (35) と な る 。 こ の方程式 を満 た す W j j ( 3 ) W j j ( 2 ) を 決 め れ ば よ い た と え ば 、 W j j ( 3 ) 7 i (3) € j (2) な の分離型 シ ナ プス結合 を仮定 す れ ば、 W ij(3) 」
    [0245]
    [0246] W ij (2) = ζ (36) と決ま る 。 こ .こで、 ζ j は平均値 0 、 分散び 2 のラ ンダ ム変数と する。 この よ う に定め ら れた シナプス結合を用 ると 、 従来の よ う な繰 り返 しが必要な く なる 。
    [0247] 実際に は、 すべての素子が線形領域で作動 し ていない ので、 それら に 0いて は式 （36)が成立せず別に扱わなけ れぱな ら ない。
    [0248] 式 （36)は、 また別な使い方がある 。 一般に、 従来法の パッ ク プ ロパゲ一 シ ヨ ン法等ではシナプス結合の初期値 は値の小さなランダム数で発生させる と よ り 結果が得ら れる 。 こ れは、 初期 に おいて、 回路網の状態が最も不安 定な状態にあれば、 安定な状態に早 く 収束 ^ る と考え ら れているか ら である。 つ ま り 、 シナプス結合の初期値 と して 、 式 （ 36 )を用 いる こ と ができる 。
    [0249] 代案 3.
    [0250] 従来法はその計算アルゴリ ズム に差はあるものの 、 素 子状態を計算する部分 と、 学習 に よる シ ナプス結合の修 正部分 に分けていた 。 しか し 、 直観的 ¾ え易さ は と し て 、 分けて 計算する必要性はない 。 こ こでは、 両者を同 時に実行する アルゴ リ ズムを示す。 学習 は式 （ 32 )に基づ い てい るの と周様に し て 、 素子状態を計諱する部分も、 前述の Hopf ieldの考え に 従っ て 、 エネルギ ー の最小化 に 基本 を お く 。 素子状態 お よ び学習 の両者を 考慮 し た エネ ルギ 一 は 、
    [0251] = ∑ { - W i J ( I ) ( a ) ( - ) }
    [0252] + { f i ( L ) - d ： } 最小化
    [0253] (37) な る こ に 、 kは 正 の定数で あ る こ の よ う に 定式 化す る と 、 素子状態 f i ( ） 5 6 1 も シ ナプス結合 W j j ( ) 5 6 2も同 時 に 決定 す る こ と が可 能 と な る ( 第 5 図 （Π ) 。 つ ま り 従来法 の よ う に 、 素子状態→ シ ナ プス結合の 決定 の繰 り 返 し は必要な く 、 周 時 に 実行で き る ので 、 並列計算機上 へ の イ ンプ リ メ ン 卜 に ち向 い て い る こ と に な る 。
    [0254] 先 に 導入 し た 分離型 シ ナプス結合 、 W U ( J2 》 - ξ j ( ) € j ( JZ — 1 ) を導入 す る と さ ら に 簡単な式 に なる 。 こ こ に 、 ( ） は新 し い変数 5 6 3 で あ る の式 を式 （37)に 代入 す る
    [0255] E = 一 ( I ) ( i ( L ) - d j } (38) とな り 、 決定すべき変数 は N ( L - 1 ) と鎵少する。 こ こ に 、 F ^ ( ·δ 〉 = ； （ ) f | ( ^ ) であ る。
    [0256] 3；2 短期記億
    [0257] 長期記億は --口で言う と 、 情報のシナプス結合への写 像、 ある い は符号化である 。 短期記憶は g期記億のメ カ 二ズ厶 と は全 く 異つ た方法で、 情報を記憶する 。 第 5 図 (g ) は、 Lindsay と Norman ( Human Information
    [0258] Processing： An Introduction to Psyc ology , 1 9 7 7 ) で示されて いる記憶に 関 する心理学的実験である。 Ί 9 人の被検者が 1 秒あた り 1 語の割合で提示さ れた 3 0個の互い に関連のない語に耳を傾けた 。 各 リ ス 卜 の呈 示終了 ごとに、 被换者に は 1 . '5分時間が与えら れ、 自 分の好きな順序で思い出せる語をすベて書く よ う に 求め ら れた 。 書き終つ て 5秒か ら T 0秒後に新 しい リ ス 卜が 提示された。 こ れ と周 じ 手続きが 8 0回 く り返さ れた 。 この時の再生率 5 7 1 を語を示さ れた頓序である系列位 置 5 7 2の関数と し て表わ し たのが、 系列位置曲線 5 7 3 である 。 こ の曲線-の特徵 は、 最も斩 し く 提示さ れた語 か ら 7前後まで に再生率は減少 し 、 それよ り 以前の語は ほぽ同 じ再生率を示 し て い る こ とである 。 前者の部分を 短期記憶 5 7 5 に 、 後者を長期記億 5 7 4 に対応さ れて いる 。 . 短姐記億では、 人 に与え ら れたデ一 を一時的に 貯蔵 する メ カ ニズムである 。 それ ら のデー タ の 内 、 あ る基準 に従っ て 、 必要なデー タ を選択 し 、 長期記憶に移行させ -
    [0259] 43 る 。 従来 の 工学的応用 を 目 指 し た 記憶 は 長期 記憶で あ り 短期記憶 に 関 し て は全 く 考慮さ れて い な か っ た 。 従っ て 与 え ら れ た デ ー タ の 内必要な デ ー タ を 記憶 す る 前 に 予 め 選択 し な け ればな ら な い 。 つ ま り 、 選択 の判 断 は 神経回 路網外 の前処理 と し て 新 た に 考え な け れば な ら な い 。 こ れ に 対 し 、 短期記憶の メ カ ニズム を有す る祌経回路網で は 、 こ の よ う な選択機構 を 回路網 内 に 内蔵で き る 。
    [0260] さ ら に 、 短期記憶 は 、 長期記憶 へ の移行 に 関 し 、 重要 な側面を持っ て い る 。 前述 し た よ う に 、 短期 記億 に お い て は シ ナプス 結合 は可塑性 を示 さ ず一 定で あ る 。 シ ナ プ ス結合不変で 記憶す る た め に は 、 何 ら か の規則 に 従っ て シ ナプス結合が决つ て い る はずで あ り 、 従っ て 長期記憶 に 移行 し た と し て も そ の結合構造が そ の規則 か ら 大幅 に 異 な る ど次の短期記憶 がで きな く な っ て し ま う 。 す なわ ち 、 シ ナ プス結合の お お ま かな値 は 、 短期 記憶 の 時点で 決め て い る こ と に な る 。 そ こ で 、 以下で は 、 系 列 位置曲 線 に 見 ら れる短期 記憶の心理学的実現 を 説 明 し 得 る モ デ ルを構築す る と と も に 、 シ ナ プス 結台 に 課せ ら れた 規則 を解明 す る 。
    [0261] 神経素子状態 の挙動 を表わ す 方程式系 は 、 式 （1 6 )あ る い は式 （ 1 9 )で記述 さ れ る 。 両者 は 等価 な メ カ 二 ズ ムで導 出 さ れ た も の な の で 、 こ こ で は :式 （ 1 6 )を考 え る 。 ま ず 、 短期記億 に お け る 記億 を 式 （ 1 6 )の 中 で ど の よ う に 表現で き る かを考察す る 。 シ ナ プス 結合 W j」·は 不変な の で 、 長 期 記億の よ う に W j」·の 中 に 符号化 す る わ け に は ゆ か な い 。 そ こで、 短期記億を式 （16)の極小値に対応させるこ と に する。 系列位置曲線 5 7 3 に よる と 、 約 7前後の状態が 記億できる こ とを示 して いるので、 それに対応 してその 値前後の極小値が必要である。 つ ま り 、 その ための シナ ブス結合 に課せ ら れた条件を求める こ と になる。 今、
    [0262] k
    [0263] W る と 、 素子数が
    [0264] I J 一定 ( i , 丄に依存しない ） とす
    [0265] k
    [0266] 十分大きい場合に は、 しぎ ヽ値 0の符号に応じて 、
    [0267] X
    [0268] I =一 1 あるい は X i が式 （16)の最小値を与える 。
    [0269] - 式 （16)の動的過程を考える と 、 これ以外の極小値は存在
    [0270] X
    [0271] しな ぐ 、 すベて の神経素子が周じ値を とる状態が唯一の 記億になる 。 従っ て、 W ■ · =
    [0272] 、 vv リ 一定 （ に， j に依存 し ない ）
    [0273] p
    [0274] で は系列位置曲線が説明でぎない。 i /
    [0275] エネルギ一の極小値への動的過程を、 次の確率方程式 で記億する E
    [0276] _ -—
    [0277] 8
    [0278] P ({ X }, t) -一 X t )] d
    [0279] (39)
    [0280] こ こ に 、 ρ は時刻 t に状態が { X ) なる確率分布、 ω は 遷移確率である 。 上記確率方程式が定常状態において、 定常分布 e X ρ ( - E ( { X } ) ) を与え るための必要
    [0281] 1 ·
    [0282] 条件は ω ( X ； ) =— [ 1 x j tan h
    [0283] J 2
    [0284] J w 一 0 となる
    [0285] k
    [0286] 直接式 （39)を積分する代 り に 、 状態 x ； の平均値 < X > X p ( { x } (40)
    [0287] {X} を 考 え る 。
    [0288] こ こ で 、 シ ナプス結合 W j jが次 の よ う な 値を と-る も の と す る （ 第 5 図 ） )
    [0289] + 1 , P 個 の 隣接素子
    [0290] W · · = f
    [0291] u — 1 , 「 個 の 隣 接素子 今 、 系列位置曲線を得る た め の実験の よ う に 、 被検者 に つ ぎつ ぎ に語 を提示 す る状況を考 え る 。 こ の 時 、 各語 に 対応す る神経素子群 5 9 1 ( 第 5 図 （ i ) .) が つ ぎつ ぎ に 発火状態 に なっ て ゆ く 。 も ち ろ ん 、 各素子群 は 第複 し て も よ い 。 い ず れ に し て も 、 語 を顒次提示 ^ る こ と は 、 各素子 （ 群 ） の結合 す る素子 が増加 す る こ と に 対応する つ ま り 、 （ p + r 〉 を増加 す る こ と に な る 。 そ こ で 、 素 子状態の平均値 < X j 〉 を P + r の （1 数 と し て 、 そ の 挙 動 を調 べ る 。
    [0292] T h 0 u I e s s , Anderson, と Pa lmer ( Phi losophica l magazine, Vol . 3 5 . p. 5 8 3 , 1 9 7 7 ) に よ る と 、 平均値 く x i >. は 、 式 （ 40 )を 実行 す る と 近似的 に 、 46 d
    [0293] <X; >=-<x； >
    [0294] dt
    [0295] tan h C∑Wik<xk >-∑Wik 2 (1-く xk ) <xf >1
    [0296] (41) な る方程式 に従 う 。 - 一殺 に 異つ た 定常状態 に対 し て は異つ た < X j 〉 対応する ので 、 式 （41)の定常解の個数が短期記億の個 に なる 。 锆粜は 、 Choiと Hubermar こ よ る " D I g i ta I dynamics and. the simulation of magnetic systems ( Physical Revie B, Vol . 2 8 , pp. 2 5 4 7 - 2
    [0297] 5 4 , Ί 9 8 3 ) にも示さ れて いる よ う に 、 第 5 図 (丄 の よ う に なる 。 結合素子数 （ P + 「 ） 5 1 0 1 が小さ 時は一つ の定常状態 5 1 0 2 し か存在 し ない が 、 （ P r ) を増加 し て ゆ く と 、 頓次分岐を起 こ し て、 2 , 4 8 個 と定常状態が 卜 リ ー 状 5 Ί 0 3 に 増えて ゆ く 。 と ろが 、 8 假を与える （ P + 「 〉 の値か ら さ ら に大き く る と 、 定常状態が存在 し ない 、 カ オ テ ィ ッ ク な状態 5 0 4 に なる 。 つ ま り 、 こ の神経回路網 に は 8 ϋ以上の 常状態 （ エネル ギ ー の極小値 〉 は存在 し ないこ と に な 以上の結果か ら 、 短期記億 は 、 正負 の ラ ン ダムな シ プス結合を有 す る神経回路網 で実現で き る こ と が判明 た 。 'さ ら に 前述の考察か ら 、 長期記憶 にお いて お 、 ほ ラ ンダムな シ ナプス結合を仮定 すれば よ い こ と が分 か 以下本発 明 の実施例を適用 対 象別 の項 目 に分類 し て 明 する 。 1. 認識問題
    [0298] 1. 1 動画像の 認識
    [0299] 1.2 初期視覚
    [0300] 2. 制御 問題
    [0301] 2.1 運動制御
    [0302] 2.2 最適制御
    [0303] 3. 数学問題
    [0304] 3.1 非定常偏微分方程式 の解法
    [0305] 1. 認識問題
    [0306] 1.1 動画像 の認識
    [0307] 第 2 図で は 、 大脳皮質の視覚領域で の方位選択性抽出 回路か ら 始め て 、 高次情報処理用 の 神経回 路網 を構成 し し し で は 、 そ の 回路網 を応用 し て 、 劻画像を認識す る た め の 神経 回路網 を構成 す る ο
    [0308] 心理学的知見 に よ る と 、 人が物 を認識す る 時 に は 、 認 識対象 の物 の物理的信号 （ 画像 ） と 脳 内 の 微念 （ ィ メ 一 ジ ） の両者 の協調 あ る い は競合作用 が必要で あ る 。 ど ち ら か一方 だけ で は δ ιΧ^で き な い場合 が 多 い 。 つ ま り 、 シ ス テ ム に 入 る多 く の物理 的信号か ら 特徴 を抽 出 し 、 铳合 し 、 記憶 と の マ ッ チ ン グ に よ り 意味 の あ る 認 識を 行 う 。 従っ て 、 第 2 図 の一般 的な構造 に 加 え て 、 記億か ら 特徴 統合への フ ィ一 ドバッ ク機構が必要となる （ 第 6 図 ( a ) ) 。 入力 か ら特徴抽出回路網 6 1 T でプ リ ミ ティ ア な特徴を抽 出 し 、 -特徵統合回路網 6 1 2 でそれ らのプ リ ミ ティ ブな特徴を銃合 し 、 記億回路網 6 1 3 に記憶され ている イ メ ー ジ とマツチングする 。 入力情報 と して は、 単位時間に測定 した 2 フ レーム分の画像 6 2 1 , 6 2 2 の濃淡変化比較を行う 。 これを画像の各メ ッシュごと に 行い 、 動きの存在を確認する 。 ただ し 、 どの方向 に動い て いる かは未知なので、 入力画像 6 2 3 では、 変化のあ る画素にマ 一 ク を付ける 。 ま た 、 これだけで は向きが判 新できないので、 おお まかな向きの '情報も別 に持つ 。
    [0309] こ のよう に して作成 した画像を、 第 3 図 に示した特徴 抽出回路辯 6 1 3 で動きの直線的方向を抽出する。 さ ら に 、 特徴統合回路網 6 1 2では、 抽出された直線方向を 連続 し た直線群 6 3 1 と し て動きの方向を決める。 しか し 、 第 6 図 （c ) の 6 3 1 の よ う な不自然な動き は一般に ない 。 すなわち 、 動き に対する概念、 具体的に はなめ ら かな曲線 6 3 2 になる等を記憶回路網 6 1 3 に内存 じて お り 、 こ れとマッ チングする こ と に よ り なめ ら かな曲線 6 3 2 を構成する 。
    [0310] 1 . 2 初期視覚
    [0311] 初期視覚 における運動方向知覚、 奥行き知覚などのさ ま ざま な処理は、 入力デ一タ か ら解を同定する逆問題 と して定式化できる 。 すなわち 、 対象 と する問題か ら 自然 と 導出 さ れる方程式系 と 、 そ れ だ け で は解 が決 ま ら な い た め に 何 ら か の先験 的情報 に 基づ く 制約条件が必要で あ る „ 今 、 求め る べ き変数 を X 、 入力 デ ー タ を I と す る と
    [0312] E"({ X ) }= E 1 ({ X } , { X })+ ^ E 9 ({ X })
    [0313] (42) の最対化問題 と定式 化 で き る 。 E は方程式系 に 、 E 2 は 制約条件 に対応す る エ ネルギ 一 で 、 ス はそ の 比 を表わ すパ ラ メ ー タ で あ る 。 従っ て 、 式 （17)の所で述 べ た 様な 方法が 有効 に 利用 で き る 。
    [0314] 以下で は 、 具体的な定式化を考察す る た め 、 運動方向 知覚 を 考え る 。 入力 画像 （ 2 値 と す る 〉 I は運動方向 に '対 し 一定で変化 し な い ので 、
    [0315] 3 1 t + ( V I ) * V - 0 (43) と な る 。 こ こ に 、 - ( d d X , d / d ) 、
    [0316] V ( V V y ) 、 は 時間 、 ▽ は微分 べ ク 卜 ル 、 V は運動 方向 の速度 ベ ク ト ルを表わ す " エ ネルギ ー E ·] と し て は 、 上式 の 2 乗の積分 を と る 。 次 に 先験 的制御条件 と し て は 、 ノ イ ズを 除去 す る と い う 意 味 に お い て 、
    [0317] 2
    [0318] // { (▽ · V χ + ( ▽ V、， ) ) α X d y
    [0319] (44)
    [0320] と お く 。 両者を合わ せ て r Γ I
    [0321] Λ Μ I + : Λ : Λ: : Μ
    [0322] § 、 ¾ ¾ ( ! Λ Λ Λ ) = ! Λ 19 $ ° ¾
    [0323] ! Λ I . Q / θ Ζ = ! Μ 02 1 I α 5 / I δ 2 = ! Μ
    [0324] - いに 1 ρ S — Π § ( 2 + 2 ! Λ I ) = Λ ! Μ
    [0325] SL l' i Q Z 一 ! Q ( Ζ + Ζ 1 ) = Χ Γ ! Μ
    [0326] ^ ° ¾ ¾
    [0327] ョ
    [0328] (910 ,
    [0329] に 01
    [0330] ! Λ Λ! Χ Λ! Λ I ! U I Ε + { !Λ Λ! Μ +!Χ Λ ! Μ } I
    [0331] Λ X
    [0332] j- w ¾ r ' ！ ^ co M^ s
    [0333] ^八 ' X 、 ¾、')ュ j: $臈 て ） 1翳画 。 § ：
    [0334] ( ） ΛΡ ΧΡ { ΛΛ ΧΛ ΛΙ ΧΙ Ζ+ ( ΛΛ ΛΙ+ ΧΛ ΧΙ) ΘΖ^
    [0335] ( ΛΛ*厶） + ΛΛ ΛΙ+ ( ΧΛ·Δ) Υ+ ΧΛ Χ1)ίΓ = 3
    [0336] I I I I I I
    [0337] 05
    [0338] .I£00/68df/lDd .Sfr60/68 ΟΛ の よ う に ま と め る こ と がで きる 。 こ こ に 、 W j j , h ,· は 上 記の定義式 か ら 容易 に 導 け る 。
    [0339] こ こ で式 （ 17 )を利用 す る と 、 結局 問題 は次式 の 確率の 最大化 問題 に 帰着で き る 。 IlexpC一一 ΣΖ; +∑Zj (W 2) ijV: +∑hj V： ] dZ; (48) i 2 1 ij J リ I j I I I こ れの最大化 は 、 シ ミ ュ レ一テ ィ ッ ド ア ニ ー リ ン グ法等 を用 い れば実行で き る 。
    [0340] 2'.1 運動制御 · 運動 制御 さ は 、 ロ ボ ッ 卜 マ ニ ピュ レ ー タ の制御の よ う に 、 時 間 に依存 す る 目 標 の軌導 d d ( t ) に 追従 す る よ う に シ ス テ ム へ の入力 u ( t ) を 決定 す る こ と で あ る
    [0341] ( 第 7 図 （a) ) 。
    [0342] 口 ポ ッ 卜 マ ニ ピュ レ ー タ を例 に と り 説明 す る 。 今 、 Θ を n 次元 関節角 ベ ク ト ル と す る と 、 運動方程式 は
    [0343] R ( ^ ) { Θ ) + A { Θ Θ ) + B ( Θ ) = u
    [0344] (49)
    [0345] と 畫 け る 。 こ こ に 、 左辺第一 項 は憤性項 、 第二 項 は コ リ オ リ ♦ 遠心力項 、 第三 項 は重力 項 、 右辺 は n 次元 の 関節 ト ル ク を 表わ す 。 一方 、 マ ニ ピ ュ レ ー タ のハ ン ドル の位 置 、 方向 ベ ク ト ルを X で表 わ せ ば 、 運動学の原理 か ら X = f ( Θ ) , X = J ( Θ ) Θ ( 50 )
    [0346] X = H ( θ ) Θ + J ( θ ) Θ ( 5 1 ) と なる 。 こ こ に 、 J ( Θ ) はヤ コ ビア ンであ る 。 X に対 する運動方程式か ら 、 ハ ン ドルに作用する力 、 モーメ ン 卜 のベ ク ト ル P は
    [0347] U = J 1 ( Θ ) P ( 52 ) と表わされる。 こ こ に 、 T は行列の転置を示す。 運動制 御 は 、 八ン ドルの位置、 方向 X ( t ) が X d ( ΐ ) に追 従する よ う に関節角ベク ト ル U ( t ) の時間依存性を決 定する こ とである （ 第 7 図 （a ) ) 。
    [0348] し か し、 口ボヅ 卜 マニ ピュ レー タ の制御 は、 その動特 性の非線型性やパラメ ー タ の不確定性、 さ ら に は作業空 と関節空問の間の非線型性な ど に よ り 完全な精度での モデル化はほとん ど不可能である 。. 従って 、 ま ず 、 神経 回路網 に よ り シス テムの動特性を周定する必要性がある そ こで 、 時間依存性をもつ神絰回路耩の動的過程を次の よ う に規定する 。 て x i ) - -X : ( i ) + W ( ) y ( - 1 )
    [0349] (53)
    [0350] 2 . 3 , , し y ( Jl ) = Θ ( x ( ) ) (54) し し に 、 て は 時定数 、 は し ぎ い値関数を表わ す 。 ま た 入力 層 に 対 し て は u が入力 さ れ 、 出力 屬 に 対 し て
    [0351] X j ( L ) = X の 成分 と す る 。 シ ナ プ ス 結合 W
    [0352] は 時間依存性 を有 し て い る か 、 .あ る い は一 定 の値で あ る 第 7 図 （b) は 、 神経 回 路網 が学 す る と 同 時 に 、 学習 が終了 す る と 単な る フ イ ー ド フ 才 Ό一 制 に な る 。 つ ま り 、 □ ポ ッ ピュ レ一タ の 出力 X が 目 標執道
    [0353] ) と 異 な る 閻 は 、 そ
    [0354] x d ( ΐ の差 X - X
    [0355] d ( ) に 応 じ て 、 関節 卜 ル ク の 制御則 よ り u T を計算 す る 。 さ ら に 、 未学習 の祌経回路網 へ の x d ) 入力 よ り 閧節 卜 ル ク u N を計 算 し 、 u = u マ 二 ュ
    [0356] N が ビ レ ー
    [0357] T L u タ に 外力 と し て 入力 さ れる ο 兀全 に 学習 が終了 す る と 、
    [0358] U U ( u 0 ) と な る の で 、 神 経 回 路網 か ら の 卜 ル ク u Ν が直接マ ニ ピユ レ一タ に 入 力 さ れ 、 フ イ ー ドバ ッ ク 制御 か ら フ ィ ー ド フ 才一ヮ一 ド $iJ に 移動 す る 。
    [0359] 神経 回路網 に お け る 学習 は 以 "F の よ う に 行 う 。 — つ の 方法 は バ ッ ク プ ロ パゲ ー シ ョ ン法 と 同様 に —∑ ( X ： ( し ） X ( t ) ) (55) 2
    [0360] なる誤差を最小にする よう なシナプス結合を決める こ と である 。 つ ま り
    [0361] • d E
    [0362] W： ： ( ) = - C (56)
    [0363] J ^ W j j ( i )
    [0364] に よ り 、 シナプス結合を胯間的に変化させる こ とである 。
    [0365] 別な方法 と して 、 最適制御理論における Bal akr i shnan の ε法を利用でぎる 。 つ ま り 、
    [0366] 1 し 《 2 Ε = Χ {—∑ ∑ IIて x (_2) +Xi (i) -∑Wn ( ) vi (i-1 ) ir
    [0367] 2ε i i=2 ' j u yj
    [0368] 1
    [0369] +-∑ (Xj (L) -Xdi (t) ) dt (57) を最小に する uを決定す るこ とである 。 た だ し 、 入力層 ( = 2 ) に対 して は uが追加されて いる 。 この問題を 解く 神経回路網は、 一般的な最適制御理論の問題 と して 、 次の項で詳細 に述べる 。
    [0370] 2,2 最適制御問題
    [0371] 神経回路網の並列処理能力 を活か して 、 最適制御問題 への有効な応用 が考え ら れる 。 最適制御問題は、 一般に 、 あ る評価関数 の最小 （ 最大 〉 化 と し て 定式 化さ れる ので か な り の 問題が適用 可 能で あ る 。 こ こ で は そ の 一例 と し て 、 B a I a k r ί s h n u nの ε 法 に 対 し 、 適用で き る こ と を示す 今 、 対象 の シ ス テ ム の動 的過程 を
    [0372] X ( = f ( x ( t ) , u ( t ) ) ,
    [0373] (58) た だ し 、 X ( ) = X な る微分方程式 に 従 う も の と す る 。 こ こ に 、 x ( t 〉 は 時刻 t で の.状態変数 、 1= は与え ら れた 関数 、 u ( t ) は 時刻 t で の 操作変数 、 X 0 は初期 時刻 t 0 で の X の値 を 示 す 。 評価関数 と し て t
    [0374] f y ( x ( t ) , u ( ΐ ) ) d t
    [0375] の 最小化を考え る 。 こ こ に 、 y は 与 え ら れた 関数 t ·! は 最終時刻 を示 す 。 ^3題 は 上 記勅 的過程 に 従 う シ ス テ ム に 対 し 、 評 ffi 関 数 を最小 に す る よ う な 操作変数 u ( t ) お よ び状態変数 X ( t ) を 決定 す る こ と で あ る 。
    [0376] S 法で は 、 上記 の 問 題 を t 1 1 へ
    [0377] E = { ""- - II x — f ( x , u , t ) ) l +
    [0378] 2 ε
    [0379] g ( χ , u , t )· } d t (59)
    [0380] の最小化問題 と し て定式化する。 こ こ に 、 は適当 な空間での ノルムである 。 今、 内積 （ X ， ΐ ) ≤ c ( 1
    [0381] + II X II ^ ) , c ： 定数 とする と 、 ε→ 0で Ε を最小に す る解が、 元の閊題の解に収束する こ と が証明されてい る （ 坂和 、 最適システム制御理論、 コ ロ ナ社、 昭和 4 7 年 ）
    [0382] x 、 u などの変数を 2値変数 X U ： で表現するた め 、
    [0383] X = ∑ 2 ' X t ( t ) f υ = ∑ 2 ' U j ( t ) ,
    [0384] (60)
    [0385] ただ し X i ( 0 ) = ± 1 , U | ( 0 ) = 上 1
    [0386] なる変換を行う 。 そう する と 、 E は
    [0387] E = X {— II 12 'Χ: -f (X: , U'i , ΐ) II2 +g (X; , U; , t)}dt to 2ε i l l 1 1
    [0388] (61) と なる 。
    [0389] 神経回路絹 にマッ ピングするた め 、 時間を時 11メ ッシ ュに きざみ、 各素子は X i あ るいは U を表わす よ う に す る と 、 第 8 図 の よ う に な る 。 各層 は周一 時刻 に お け る X j , U j を表わ し 、 層 閭の結合 は与 え ら れた 問題 f , gの構造 に依存す る 。 . 3. 数学 問題
    [0390] 3.1 非定常偏微分方程式 の解法
    [0391] 神経回路網 の 並列処理能力 を 活か し た 応用 と し て 、 微 分方程式 、 さ ら に 一 般 的 に は偏 微分方程式 の解法が あ る 神経素子 間 の 協調 · 競合作用 を基本 と す る神経回 路網 の 特徵 は 、 そ の作用 が周 時別 に 整 列 的 に 行わ れる こ と で あ る 。 た だ し 、 実際的な 計算 ァブ ロ ー チで あ る モ ン テ カ ル 口 法で は 、 単位 時 間 に 1 個 の素子状態を変更 し 、 繰 り 返 し を 十分行 う こ と に よ り 、 周 時刻 で の 並列処理 を模擬 し て い る 。 こ の 同 時刻 協調 ♦ 競合動作 が以下 に 示す よ う に 微分方程式解法 に 重要 な役割 を は た す 。
    [0392] 今 、 与え ら れ た 偏微分方程式 が次 の よ う に 耋 かれて い る と す る 。
    [0393] d U
    [0394] ( U , V U V u ) (62) d ΐ 一般性 を失 う こ と な く 、 一 次元 の 問題を 考え る 。 つ ま り
    [0395] U = U ( X , t ) 、 u = 5 u / .5 x ,
    [0396] V 2 u = d 2 / d 2 。 x は 位置 を表わ す 。 連続量 x に 閬 す る方程式 を 計算機で 数値計算 す る た め X を有 隈な微小区間 に分割 し 、 その区間上で上記方程式を書き 直す。 差分法、 有限要素法、 境界要素法などほ とんどす ベて の数値計算法は こ の よ う な方法で連続な方程式を非 連続な方程式 に書き直す 。 た とえば、 有限要素法では 、 各要素内での u を
    [0397] U = Φ u ( 6 3 ) と内揷補間する 。 こ こ に 、 Φ ^ は捕間関数、 u ひ は有限 要素の節点での値、 ο: は 1 次元の場合区間の両端を赛ゎ
    [0398] 5
    [0399] 8
    [0400] よ すため Ί と 2 である 。 2 次元の三角形要素で は ひ = 1 2 , 3 である 。 各要素に おける重み.関数を、 上記 と周様 に u * = ∑ Φ u ^ * と する 。 元の偏微分方程式に u - ∑ Φ α u α を代入 し 、 両辺に u * をかけ全空 i につ い て積分する。 重み関数 υ α が任意な値を とる定数に注 意する と 、 次の よ う な方程式系を得る。 '
    [0401] U « = ( u a u N N ( α ) u S N ( ct ) ) ( 64 ) こ こ に 、 N N ( ) は一回微分 V u よ り 導かれた項を意 味 し 、 α の最隣接節点 α + 1 あるい は α — 1 を示す。 S Ν ( ひ ） は二回微分▽ 2 υ よ り 導かれた項を意味 し 、 ひ の第二隣接節点、 ot + 1 あるい は 《 — 1 を示す 。 すべて の要素に対 し上記方程式を作成 し、 た し 合わせれば所望 の有限方程式を得る 。
    [0402] 次に 、 時間 に関 する微分 u ひ を差分化 し なけ ればな ら 9457
    [0403] 59 な い 。 一般 に は通常の方法 に 従 い 、
    [0404] u α = u α n - υ α n _ 1 と す る 。 こ こ に 、 添字 n は 時間 t Uをディ ス ク リ ー 卜 な 変数 に 直 し た こ と を意味す る 。
    [0405] nひ
    [0406] こ こ一一で 問題 と な る の は 、 右辺の 関数 F の 時刻 を ど ち ら の 時刻 （ n か n — Ί ) に と る かで ある 。 n と す る場合 は
    [0407] ^ひ
    [0408] 陰的解法 、 n 1+— 1 と す る場合 は 陽 的解法 と 呼 ばれ て い る 流体方程式 の解法 の 時 に 、 層流 の よ う に 現象が比较的緩 や か に 変化 し 、 す ぐ に定常状態 に 達 す るよ う な場合 に は 陽 的解法で も十分な精度の解が得 ら れる 。 し か し 、 流速 の大き い 流 れや 乱流の 場合 に は 、 十分単位 時 問 き ざ み を 小さ く と る必要が あ り 、 計算時間が大幅 に かか る 。 時間 き ざみ を大き く と る と 精度が お ち た り 、 発 散 す る 。 こ の よ う な場合 に は 陰解法 が適 し て い る ，， 一般 に 、 陰解法で は 、 時間 き ざみ に よ ら ず 、 解 は 安定 し 、 精度 も よ い 。 し か し なが ら 、 こ の よ う な利点 に も がかわ ら ず 、 陰解法で は一般 に 各時刻 に お い て 非線型代数方程式用 の繰 り 返 し 計算が必要で結局大幅な 時間 が かか る 。
    [0409] 神経回路網 の 並列処理機能 を 活 かせ ば 、 上記 の 陰解 法 の困難 さ を解決 で さ る 。 解 く べ き 方程忒 は
    [0410] n
    [0411] ( u ひ u N N ( ひ ） u S N (
    [0412] で あ る u は も と も と 連銃 な値 を と る の で 、 2 値 の変 数で書き直 さ な け れ ばな ら な い 。 2 値 の 変 数 を同 じ u ひ で表ねすこ と に する。 ち がい は、 素子数が増加する こ と だけである 。
    [0413] 第 9 図 （a) に神経回路耩の構造を示す。 各時刻毎に層
    [0414] n n
    [0415] を用意する 。 各素子に u a を対応させる。 この u a は周
    [0416] n n
    [0417] 時刻、 つ ま り周層の u UN ( a: 〉 と u SN ( a ) に加え、 自 分自身と結合する。 さ ら に一時刻前の u o: n_1 にも関 ^ する 。 具体的なアルゴ リ ズム と して は、 入力屬 （ n == 0 〉 において 期値が与え られているので、 上層 に 向って頗 次解いて行く 。 あるいは、
    [0418] 1 -
    [0419] =—∑ { u ά -F ( u a , u NN ( a } , u SN ( α } )}
    [0420] (66)
    [0421] の最小化をシミ ュ レーテイ ツ ドアニ ー リ ング法で行う 。
    [0422] [ アルゴ リ ズム ]
    [0423] 処理手顒を第 9 図 （b) によ り 説明する。
    [0424] 0
    [0425] ①入力層における初期値 u a を設定する 。 （ ブ ロ ッ ク
    [0426] 9 2 1 )
    [0427] ②入力層以外の曆の神経素子の初期状態を設定する。
    [0428] ( ブ ロ ッ ク 9 2 2 )
    [0429] ③境界 における与えら れた素子状態を設定する 。 （ブ 口 ッ ク 9 2 3 )
    [0430] ④シ ミ ュ レーテイ ツ ド ア二一 リ ング法用 のパラメ ー タ である温度の初期値などを設定する 。 （ プロ ッ ク 9 2 4 )
    [0431] ⑤神経回路絹内で入力層お よび境界 に位置す る素子以 外の素子を、 ラ ンダムあるい は規則正 し く 選択する
    [0432] ( ブ ロ ッ ク 9 2 5 ) 。
    [0433] ⑥シ ミ ュ レ一ティ ッ ド ア ニー リ ング法を実行 し 、 選択 した素子の状態を変更す る 。 （ プ ロ ッ ク ' 9 2 6 )
    [0434] ⑦収束判定を行い、 収束 し なければ⑤， ⑥を繰 り返 し 、 収束すれば⑧のエ ン ドに移行。
    [0435] ⑧終了 。
    [0436] つぎに 、 前述の式 （4) の コ ス ト を最小化する た めの関 数 H * を決める問題につ いて 、 ま ずその原理から説明す な 。
    [0437] この問題に対する形式的な解 は 、 次の よ う に なる こ と が知 ら れて いる 。 ま ず 、 H の最適な関数 H * は
    [0438] - d V ( X ) / d
    [0439] min (- 「 Η ' d M / d + d V / 5 x 2 + L / 2 ( H / / E ' ) 2 } H ' (68-1 ) の右辺の最小値を与える よ う に定 ま る 。
    [0440] H ' * = L _1「 E ' 2 d / d e (68-2) 一般に 、 温度は加法的ノ イ ズ と T - 0 ( 「 ） なる関係に ある こ と が分かっ て いるので 、 d J / d = 0 ( 「 _2) である 。 ここ に 、 記号 0 ( - ) は '。'の値のオ ーダを示す これを、 式 （68-1)に代入する と 、 Vの従う方程式が d V ( t , X ) d t
    [0441] = - 1 / 2 L _1「 2 E ' 2 { 9 V / 5 X } 2 + 厂 32 Vノ 3 X 2 (69) となる 。 ただ し 、 初期条件は、
    [0442] V ( 1 , X ) t 1 で与え られる。 この初期条件は最終時刻 における値を与 えているので、 取り扱いの簡単な初期値問題に書き換え るために 、 て - t ^j — t で新 しい時間 て に変換する 。 そ う する'と、 上式は
    [0443] 3 V ( て， X ) / 3 t
    [0444] =ー 1 2 1_ _1厂 2 E ' 1 { d V / d x } 2 +
    [0445] Γ d 2 / d x L (70) ただ し、 V ( 0 , x 》 - 0
    [0446] と なる。 これが、 V、 つ ま り 、 H * を決定する最終的な 方程式である 。
    [0447] 結局、 問題は式 （70)の方程式を解き、 V を求める こ と である。 もちろん 、 数値解法でも可能であるが、 C P U 時間がかかる し 、 ま た 、 実用的な手軽さ もない 。 そ こで 解析解 が望 ま れる と こ ろで あ る 。 こ こ で は 、 Γ を微小な パラ メ ー タ と す る特異摂動 法 を利用 し て 、 近似的 に 解析 解を求め る 。 Pの最大値を与 え る状態 X を 、 α * と す る < こ の値そ の も の は未知数で あ る が 、 そ の近傍で の 解の挙 動 は調 べ る こ と がで き る 。 そ こで 、 3 V Z 3 x =
    [0448] 0 ( 「 '2) に 注意 し 、 式 （70)の右辺の 「 に 関 す る大きさ を見積る 。 い ま 、 状態 X が 、 α * か ら "だけ し か離れ て い な い近傍 （ 内部頜域 ： x - a * + 0 ( VT) ) と す る と 、 第 1 項が 0 ( Γ —1 ) で第 2項が 0 ( 「 _3/2 ) な の で 、 第 2項が重要であ る 。 一方、 状態 X が 、 α * か ら 厂 15 以上離れて い る場合 （ 外部領域 ： χ = α * + 0 (1)) に は 、 第 1 項が 0 ( 「 _2 ) で第 2項が 0 ( Γ _ 1〉 な ので 、 第 1 項が支配項 と な る 。 従っ て 、 こ れ ら の領域 に対 し 、 別々 に 解 を求 め 、 両者 を ス ム ー ズ に 結合す れば よ い 。 以 下で は 、 各領域 に お いて 、 0 ( V " ) ま で の近似解 を構 成す る 。
    [0449] (1) 内部領域 ： x - a* + 0 ( V ")
    [0450] こ の領域は 、 て = 0で ほ ぼ達成さ れる も の と 考え ら れ る ので 、 初期条件か ら わ かる よ う に 、 Vの値が小さ く 、 第一項 は近似的 に省略で き る 。 こ の領域で の解を V i と 記す と 、 0 ( V ) ま で の近似方程式 は 、 d V ( て ， X ) ノ 3 て - 「 3 V ； / d なる拡散方程式になる 。 式（71)の条件を満た す解は容易 に求ま り 、
    [0451] V j ( て ， X ) = 「 て exp{— ( X - α * ) 2 2 「 て }
    [0452] (72) となる 。 て → 0で明 ら かに V j ( 0 , X ) → 0になる 。 ここで 、 （X * は未知なので、 この式はそのま までは用い ないが 、 あ とで この意味を明 らかにす る 。
    [0453] (2) 外部領域 ： X = α * + 0 ( 1 )
    [0454] この領域での薛を V (j と記す と 、 0 ( f「 ） ま での近 似方程式は、
    [0455] d V て ， X ) て
    [0456] 0 ( Z 3
    [0457] 一 1 ノ 2 L -2r「 2 , 2 { d y Q d X }
    [0458] (73) である の解を、 変数分離法で求める 。 い ま 、 て のみ の関数 A ( て ） と 、 X のみの関数 B ( X ) を用意し 、
    [0459] V 0 ( て ， X ) = A ( て ） B ( X ) (74) とお ぐ o しれを 、 式 （73)に代入する と 、
    [0460] d A ( て ） d てゾ A 2
    [0461] 一 1 ノノ 22 LL __11「Γ 22 EE '' 22 BB '' 22 Z BB 22 (75) を得る 。 両辺はそ れぞれ独立 した変数の関数なので 、 両 辺は定数でなければなら ない 。 Cを定数 と し て 、 便宜上 両 2
    [0462] — を 1 / 2 L 1 ' r- 「 Cと お く 。 そう する と 、 各関数に 対して
    [0463] d A ( て ） d て - — 1 Z 2 L一1 「 2 C e c
    [0464] D 0
    [0465] B ' 2 = C B 2 / E ' 2 (76) な る 微分方程式 を得る 。 こ れ ら の 解 を求め る と 、 次 の 様 に な る 。
    [0466] A ( て ） = 1 ノ { 1 / A m + 1 Z 2 L ~1 「 2 C て ）
    [0467] B ( X ) = C / 4 ί 1 / E ' d X + C ！ } 2 (77) こ こ に 、 A m , C は積分定数で 、 次 に 述べ る 内部 と 外部 に お け る解 （ 72 ) , ( 77 )の接続条件か ら 決 ま る 。
    [0468] (3) 解の接続条件
    [0469] 内部領域で の解 （72)と 外部領域で の解 （77)を ス ム ー ズ に 接続 し 、 全領域で一様な解 を求 め る た め に は 、 境界位 置 X b ≡ a * + G ( IT) で 、 各領域で の 解 の 関数値 と そ の空 間微分値を等 し く す れば良い 。
    [0470] V j ( て ， x b ) = V Q ( て ， x b )
    [0471] d V j ( て ， x "） / d x - d J Q ( て ， X b ) d X
    [0472] (78) ま ず 、 A mを決め る 。 式 （ 72 )は P の最大値近傍で の状 態を 記述 す る ので 、 本来 て が小 さ な領域で成立 す る式 で あ る 。 し か し 、 外部領域で の解 と の接続を す る た め 、 領 域を拡張 し 、 て の大き い領域で の 解 の 漸近形 を 求 め る と 、 V j ( て ， x b 〉 〜 厂 Z 2 { — 1 + 2 て } と な る 。 同様 に 、 て の 大き な領域で成立 す る式 （77)の て の小さ な 領域 で の解 の 漸近形 は 、 V 0 ( て ， x b 〉 A m { — 1 +
    [0473] 1 ノ 2 し _1 「 2 C A m て ） B ( X b ) と な る 。 従っ て 、 両辺 を 比較 す る こ と に よ り 、 A m = 4 し 「 _2C ' 'と定 ま る 。 故 に 、 A ( て ） = 4 L.r "2C "V ί Ί + 2 て ）
    [0474] 〜 2 L 「 ·2〇 -1Zて （79) と決ま る 。 こ こに 、 て が大きいこ とを利用 して 、 1 を省 略 した。 式 （72)と （77)を式 （78)に代入する と 、
    [0475] xb 2
    [0476] 「て exp (—「/2て） =A (て） CZ4 * { 1/E' dx + C^ }
    [0477] xb
    [0478] 一「て exp (—「Z2て） (て） {/ Τ/Ε' dx
    [0479] + (xb) (80) r れ ら の方程式を解く と 、 定数 C "! お よび、 接铳する時 の時刻 て ち周時に決ま る。
    [0480] 。 1 一 2 て / ( X b ) - / xb1 / E ' d X
    [0481] 3
    [0482] 1/て 2 + 4し「 °exp ( 「 Z 2 て ） Z ( ( b )}
    [0483] (81)
    [0484] こ れらの値を外部領域での解に用 いる と、 結局、
    [0485] y
    [0486] V0 (て， x) =L「—^Z2r* if 1/E' dx— 2て ZE' (xb) }2 xb
    [0487] ' (82) こ こで 、 求めたい量は Vの X に 関する微分なので 、 上式 の最後の項 2 て Z E ' ( x b ) は省略できる 。
    [0488] V 0 ( て ， x > = L 「 _2Z 2 て · { / 1 Z E ' d X } 2
    [0489] (83) β が得 ら れ る 。
    [0490] 式 （68-2)か ら 、 求め る べ き ^1 ' * は
    [0491] 2
    [0492] H し —1厂 { ( X ) } ( X - α * ) exp
    [0493] { — ( x — α * ) 2 「 て }
    [0494] Η * = ( 厂 て ） ( X ) / Ε ' d X (84)
    [0495] と な る 。
    [0496] 使い易 さ を 考慮 す る と 、 H ' = ( E / T ) ' ) ≡ E ' Z Toptと な る 温度 Toptを定義 し た ほ う が 、 便利 が良 い 。 なぜな ら ば 、 H の変化分を直接計算 し な く と も 、 コ ス 卜 E の変化分 だけ を 計算す れば よ い か ら で あ る 。 上式 を こ の温度 を用 い て 書 き な お す と 、 各 領域 に お い て 次式 を得 る 。
    [0497] Tiopt =—し「_1{(x-ひ * ) Ε' (x)}-exp{ (x- * ) 2 2「て）
    [0498] Toopt =「て/ {/1ZE' dx} (85) 最後の式 は オ ー ダ的 に は 、 内部頜域 に お い て
    [0499] E ' = 0 ( V~T ) に 注意 す る と 、 Tiopt = 0 ( 厂 ） ， Toopt = 0 ( 「 ） に な り 、 温度 の定義 に 矛盾 し な い 。 こ れは 、 外部領域 に お い て 、 極大値 を超 す た め に 、 温度 は 大き く し 、 加法 ノ イ ズの大 き さ を大 き く し 、 調整 し て い る も の と 考え ら れる 。 こ こ で 、 温度 に 対 す る 制約 条件 Topt> 0 を仮定 す る 。 式 （85)の 第 Ί 式 は 、 ひ * 近傍で E ( X ) 〜 （ X — α * ) 2 と な る ので 、 常 に 負 で あ る 。 そ こ で 、 内部領域 に お い て は Tiopt = 0 と す る 。 こ の要 請は、 極値においてゆ らぎを小さ く するこ とを意味し、 特に 、 最小値を与える状態において は、 ゆ らぎを無く す るこ とを意味する。 さ ら に 、 時藺依存性に おいて も、 そ の状態では て = 0 になる。 従っ て 、 両者の領域をま とめ て 、 次の様に書 ぐことができる 。
    [0500] Topt= 「 て Θ [ 1 / { / / E ' d X } ] (86) こ こ に 、 導入した関数 Θは、 その引き数が正の時には その値を、 負の時に は 0 となる関数である 。 こ こで、 が未知なので、 一 t を直接計算できない。 しかし 、 「が小さいこ とを積極的に利用する と 、 「 て の 変化はわずかなもの となるので、 この量を定数と して扱 つても近似的に は、 Toptは有効に働く と思われる。
    [0501] 以下、 具体的実施例について説明する。
    [0502] ここでは、 簡単な 1 次元のコ ス ト関数を例に、 こ こで 提案し た新しいスケジユール Toptの有効性を確認する。 kを正の定数 とし て 、 コス ト 関数の微分 E ' と して 、
    [0503] E ' ( X ) = k Π ( X — a i ) (87)
    [0504] I
    [0505] を考える 。 式 （86)の積分を実行するために 、 E ' の逆数 を次の よ う に書き換える。
    [0506] 1 Z E ' ( X ) = k ∑ 了 i ノ ( X - a i ) (88) i そう する と 、 積分 は簡単に実行でき 、 Toptは次のよ う に求ま る 。 7
    [0507] Topt= 「 て 1 Θ [ 1 / Π { £ og x 一 ひ I + q }] i
    [0508] (89)
    [0509] T I
    [0510] こ こ に 、 q =— j og | x b - a i | で あ る 。 こ の 式 に は ま だ未定 の定数 q が 含 ま れて い る が 、 こ れ ら は パ ラ メ ー タ と し て 扱 う 。 実際 の計算 に お い て は 、 q = 0 と し て も 十分良好な結果が得 ら れた 。 ま た 、 Γ て = 1 . 0 と し た 。 上記 の コ ス 卜 関数の例 と し て 、
    [0511] E (X) =3 (- ( x) 2 -1/3♦ ( x) 3 +1/4 - (PK) 4 }
    [0512] (90)
    [0513] を考え る 。 こ れ は 、 二つ の極小値 を 、 o^ - S Z P ,
    [0514] 2 - — に 持つ 。 こ の 内 、 ひ が最小値を与 え る 。 そ し て 、 越え る べ き コ ス ト 障壁 は 5 /3 1 2 で あ る 。
    [0515] Toptの 計算 に 必要なパラ メ 一 タ ー は 了 ■! = — 5 2 / 2 .
    [0516] T 2 = P / 6 , 73 = P 2 3 で あ る 。
    [0517] 第 Ί 2 図 に 、 従来法 の T ( ΐ ) = Τ 0 / i og ( ΐ + ) ； Τ 0 = 3 と 、 Toptを用 い て 行っ た シ ミ ュ レ ー シ ョ ン結 果 の比較 を 示 す 。 先ず 、 第一 に 、 従来法 と 異 な り 、 最小 値 に お い " ほ と ん ど ゆ ら ぎ が 生 じ な い 。 ま た 、 最小値へ の収束 が 早 い （a) 〜 （d) 。 極端 な例 （e) , (f) で は 、 従 来法で は 最小値 に達 し な い場合 で も 、 本方法で は 、 到達 可能である 。 尚、 この結果は 1 0 0 回シミ ュ レーシ ョ ン を実行 し 、 その平均値を示 し たものである 。
    [0518] 更に複锥な例に対 して 、 適用 する 。 この場合に は、 式 ( 86 )の積.分を直接求め ら れないので、 以下に示す様な近 似最適スケジュ一ルを用 いる 。 上記の例で示したスケジ ユ ールから分かる大きな特長は、 超えるべきコ ス ト の障 壁に接近 した と ころで、 大きな値を と り 、 極値近傍では 0 なる値を採る こ とである 。 こ のこ とから 、 コ ス ト 関数 の 2 階微分 V 2 E が負 に なる ときに最大値に設定 してお けば、 最適スケジュールの本質を捉える こ とができる と 考え ら れる 。 そこで 、
    [0519] T o p t = Φ [ ▽ ム E ( X ) 】 ( 91 ) なる近似スケジユールを提案する 。 こ こ に 、 Φは、 その 引き数が正の時は、 十分大きな正な定数 Φ m 、 負の時は 0 と する 。 つ ま り 、 2 階微分が負の時だけ、 温度を高め 付加ノ イ ズを大き く して 、 極大値を容易 に飛び迢ぇるよ う に し た 。 この場合のシ ミ ュ レ一ティ ッ ド アニー リ ング の アルゴ リ ズムの全休概念図を第 1 0 図に示す 。 まず初 期状態 （ プロ ック 1 0 Ί ) を設定 し 、 シ ミ ュ レーテイ ツ ドアニ ー リ ング （ ブロック 1 0 2 ) に よ り次の状態 （ ブ ロッ ク 1 0 3 ) を決定 し 、 終了条件 （プ ロ ッ ク 1 0 4 ) が N 0 の場合 はこれ ら の過程を く り返す、 ア ニー リ ング に おける最適温度 （ ブ ロック 1 0 7 ) は、 与え ら れた関 数 （ プロ ッ ク 1 0 5 ) の微分式 （91 )か ら決める 。 この近 似スケジ ュールの有効性を確認するため に 、 つぎの問題 2155 に 適用 す る 。 変数 X _ し に 1 ， 2 N
    [0520] ( N = 1 0 0 x 1 0 0 ) で 、 i は 2次元 平面格子上の点 に お い て 定義 す る ） は ± 1 の 2値を と る も の と す る 。 最 小化す べ き コ ス ト 関数 E と し て 、
    [0521] ({X })= I { - ∑ X ； X J； + h X ； } (92) が与 え ら れて い る あ の と す る 。 最初 の ∑ の 全て の変数 に つ い て の和 、 次の ∑ は 平面上 に お い て 第 i 番 目 の変数 に
    [0522] 10 隣接す る 変数 に つ い て の 和 を表わ す 。 h は正 の定数で 、 こ こ で は 〇 . 1 に 設定 す る 。 ま た 、 X i の初 期状態は ラ ンダム に 与え ら れ て い る も の と す る 。 こ の 問題の 困難さ は 、 変数 X j が 2値 し か と ら な い こ と か ら 、 多数 の極小 値が存在 す る こ と に あ る 。 2 値変数 の ま ま で も最小化 は 可 能で あ る が 、 こ こ で は 、 よ り 低い コ ス 卜 が実現可 能 な 、 H 0 p f i e I d and Tank に よ る 、 Biological Cybernetics, vol.5 2 , P. 1 4 2 , ( 1 9 8 5年 〉 の定式 化 に 則 り 、 2 値を連続値 に 変換 し て シ ミ ュ レ ー シ ョ ン を実行す る 。 こ の た め 、 元 の変数 X i を
    [0523] 20 X j = tan h ( F j Z B ) (93)
    [0524] と 変換 す る 。 明 ら か に 、 F j は — w か ら + CO ま で の 連続 量 に な り 、 F j = は X | = ± 1 に対応 す る 。 こ こ で 、 収束性を高 め る た め に 、 定数 B は 0 . 0 1 に 設定 し た 。
    [0525] 比較の た め 、 以下 に 示す 異 な る 3 種類の ス ケ ジ ュ ー ル で 式 （ 92 )で定義 し た 関数 の 最小値を求 め た 。 ( A ) T ( t ) = T0 / og ( t + 1 )
    [0526] ( B ).T ( t ) -一定
    [0527] ( C ) Topt= Φ [▽ 2 E ] 、 Φ m = 5 (94) モンテ カ ルロ シ ミ ュレーシ ョ ンの回数を記号 tで表わ し 、 tの最大値 t max は 1 000回 と した 。 また 、 比较 のた め Toptの最小値は 0で はな く 、 （ A ) の Tの t max における値である 1 / _ og ( t max + ) に設定 した。 シ ミ ュ レー シ ョ ン結果を第 1 3図に示す。 （ A ) の従来 法において 、 T Q = Ί . 0と 4. 0でシ ミ ュ レーショ ン を実行 した 。 初期の時刻 において は多少異なる直を示す が、 x max にあ、けるコ ス ト と し て両者とちほぽ同 じ値で である一 =一 0. 63を与える 。 しか し 、 （ C ) では、
    [0528] N
    [0529] 明 ら かに 、 他の方法よ り もかなり低いコス ト である 一 0. 90を得るこ とができた 。 しかし 、 （ C ) の方法 では単に温度を上げた こ とに よ り 、 低コ ス 卜 が得 られた もの と思われるが、 事情は全 く 異なる。 この こ と を見る た めに 、 （ B ) で、 T ( t ) = 5. 0なる高温でシミ ュ レーシ ヨ ンを実行 した 。 結果は、 大きなノ イ ズのために 従来法よ り も さ ら に悪 く なつ た 。
    [0530] 第 1 4図 は、 本発明を利用 し た画像処理システムの概 要を模式的に示す。 被観測物 5 1 を I T Vカ メ ラ 5 2に よ り 撮像 し て得 ら れた電気信号は、 少な く ともプロ セッ ザと メ モ リ を有する画像処理装置 60に送 ら れ、 アナ 口 グ · ディ ジ タ ル変換及び量子化装置 53によ り ディ ジタ _„ ル画像デ ー タ に変換さ れ 、 原始画像デ ー タ と し て フ ア イ ル 5 4 に 格納 さ れる 。 こ の原始画像 デ ー タ に は 、 I T V カ メ ラ 5 2 に 非線形特性 に 起因 す る誤差 の 他 に 、 種 々 の 要因 に よ る雑音が混入 し て い る 。 次いで 、 原始画像 デ ー タ は 、 フ ァ イ ル 5 4 か ら 読出 さ れ 、 例 え ば確率的な画像 処理装置 5 5 に 送 ら れる 。 こ の処理 に お い て 、 エ ッ ジ の 鈍化な し に 雜音を 除去す る な ど の処理 は 、 一 般 に 、 原始 画像デ ー タ か ら 構成さ れる 画像の エネルギ ー を最小 に す る こ と に よ り 達成さ れる 。 こ の最小化 は本発 明 に よ る最 小 ♦ 最大値探索装置 5 6 で行わ れる 。 処理 は第 1 0 図 、 第 1 1 図 に 従っ て 反覆法 に よ り 行 なわ れ 、 中 間結果 は フ ア イ ル 5 7 に 格納 さ れる 。
    [0531] 処理 さ れ た 画像デ ー タ は 、 フ ァ イ ル 5 8 に 格納 さ れた 後 、 必要 に 応 じ て 読み出 さ れ て 他 の画像処理 が お こ なわ れる か 、 あ る い は D A 変換装置 5 9 に 送 ら れた 後表示 装置 6 0 上 に 表示さ れる 。 産業上 の利 用 可 能性
    [0532] 本発 明 に よ れば 、 以下の効 果 が あ る 。
    [0533] (1) 生 体生 理学的知見 に 基づ く 、 あ る い はそ の 知 見 か ら 推察さ れ る 内部構造 を取 り 入 れ 、 神経素子群の 並列 的協 調 · 競合 動作を 基本原理 と す る 神 経 回路網 に よ り 、 従来 の計算機で は解決困難で あ っ た 画像 、 音声な ど の 認識問 題 、 運勁 制御 、 あ る い は 、 時間 に 依 存 す る大規模数値計 算を高速化で き る 。 (2) 多数の搔値を持つ関数の最小値 （最大値） を求める 場合、 関数 E の代わ り に ex p ( - E / T ) の最大化を考 え 、 シ ミ ュ レーティ ッ ド ア二一リ ングと呼ばれる確率的 山登り 法が提案されている 。 こ こ に導入 し た。 パラ メ 一 タ T は温度と！ ばれ、 ラ ンダムノ イズを発生させ確率的 な取 り 扱いを許すため に導入 したおのである 。 従っ て 、 E の最小値に達 した時に は、 T を 0 にもつ て ゆき 、 誤差 な し にその最小値に停留させる必要がある 。 丁 をどの よ う に し て低 Smに て ゆ く かを決める こ とが 、 シミ ュ レ一 ティッ ドァ二一リ ングの最大の課題であ o しのた め 、 初期状態か ら最終目標である最大値を与 X·る状態ま で に 至る時刻を最小に する様に 、 温度を決定 し た 。 シ ミ ュ レ 一ショ ン実験の結果、 多数の独立変数を持つ複雜な非線 形関数に対し ても従来法よ り 低い最小値が得られる こ と が確認でき o <—れに よ り 最小値を確実かつ髙速に求め るこ とがでぎる 。
    权利要求:
    Claims請 求 の 範 囲
    1 . 生体生理学的知見 に 基づ く 、 あ る い は そ の知 見 か ら 推察さ れる 内部構造 を取 り 入れ 、 合 目 的的 に 神経回 路網 の構造 を 決め 、 神経回路網 を構成す る 神経素子群の 並列 的協調 ♦ 競合動作を 基本原理 と す る こ と に よ り 特徴 抽 出処理、 特徴統合処理 、 記憶処理、 認識処理 、 制御情 報生 成処理を 含 む情報処理を お こ な う こ と を特徴 と す る 神経回路網 に よ る 高次情報処理方法 。
    2 . 前記特徴抽出処理で は 、 多数 の神経素子 が層状 構造 を成す 回路網 に 配置さ れ 、 各層 の一群の 神経素子 の 状態の平均値 に 比例 す る 値 を上の履 の同 じ 場 所 に 位置す る一 群の神経素子 に伝播 さ せ る こ と に よ り 特徴抽 出 に 不 必要 な雜音 を 除去 す る と 同 時 に 、 階層 的 に 頤次特 徴 を油 出 す る請求項 Ί 項記載の神経回 路網 に よ る髙次情報処理 方法 。
    3. 前記平均値 に 比例 す る 値 は 、 各 層 内 に お い て 線 型 、 非線型性を有 す る一 般的な シ ナ プ ス結合 す る 神経素 子 に 対 し確率分 布 を定義 し 、 そ の 確率分布の 高 周波数成 分 を積分 す る こ と で 演算 し 、 隣接素子結合部の確率 を 不 変 に 保つ こ と に よ り 階層 的 に 頗次特徴 を 油 出 す る請求項 2 項記戰の 神経回 路網 に よ る ¾次情報処理方法 。
    4 . 前記特徴統合 処 理で は 、 特徴抽 出処 理で 油 出 さ れた特徴 に対応 し た 神経素子群で構成さ れ る 神経履 を下 層 に 配置 し 、 中 間 層群 は特徴 を 複合 し た 情報 に 対応 し た 神経素子群で構成 し、 最上層 には認識対象あるいは概念 に対応 し た神経素子を配置し 、 層内あるい は層閻の関係 の度合い に応じ て 、 関係が強ければ正の大きな値、 関係 がなければ負の値をシナプス結合に割 り 当て る こ と によ り 、 特徴統合処理に よる協調 · 競合動作を通 して 、 入力 された特徴 と高次情報あるい は概念とのマッチングを行 う請求項 1 項記載の神経回路網に よる髙次情報処理方法
    5 . 前記特徴統合処理は、 注目神轻素子への全入力 情報がしきい値よ り も大きければその素子は発火し、 小 さければ体止状態になる素子機能を、 シナプス結合と素 子状態の 2 次項との積と しきい値と素子状態の積から成 り立つエネルギーの最小化問題を解く 処理か らなる請求 項 4項記載の神経回路網に よる高次情報処理方法。
    6. 前記エネルギー最小化問題を解 く 処理は、 新た に連続な値をと る変数を導入し 、 上記エネルギーを、 新 しい変数の 2 次項と 、 この変数 とシナプス結合の平方根 と元の素子状態との積か ら成る新たなエネルギー を導出 するこ と に よ り 、 シナプス結合が一定で し きい値が元の シナプス結合の平方根に依存する仮想的な神経回路絹が 構成する処理を含む請求項 5 項記載の神経回路網 によ る 高次情報処理方法。
    7 . 前記記憶処理は、 特徴統合処理で必要な高次情 報を学習 に よ り 記億し 、 それら の髙次情報に対応さ せた 神経素子を入力層 に配置 し 、 多数の中間層に配置された 神経素子はシナプス結合で情報の伝達を行い 、 出力層か ら の 出力 情報 と 目 標 と な る 情報 と の差 に 依存 し て シ ナプ ス結合を修正 す る こ と に よ り 、 高次情報を シ ナプ ス結合 の値 と し て 符号 化す る こ と で 長期 的 に 記億す る処理か ら な る こ と を特徵 と す る請求項 1 項記載の神経回 路網 に よ る高次情報処理方法 。
    8 . 前記記憶処理 は 、 心理学 的 に 実現さ れて い る長 期記憶、 短期記憶 に相当 す る メ カ ニズ ム の異つ た 記憶を 同一 回路網で実現す る 手段 を 用 い て 実行す る請求項 7 項 記載の 神経回路網 に よ る 高次情報処理方法 。
    9 . 前記長期記憶処理 は 、 脳生理学的知見で あ る樹 状突起の直径 の細胞体中心か ら の距離依存性 、 樹状突起 に 付着 す る シ ナプス数 の付着位置で の樹状突起の.直径依 存性を 含 む統計的な実験生理学的事実か ら 推定 さ れる シ ナプス結合構造 に 基づい て 構成 さ れる 手段を 用 いて 実行 す る請求項 8 項記載の神経回 路網 に よ る高次情報処理方 法 。
    1 0 . 前記シ ナ プス結合構造 は 、 情報伝達媒体で あ る 軸索 を情報 が伝達す る の に 必要 な 消費 エネル ギ ー と 軸索 が空 間 に し め る領域の合計 を 最小化 す る最適性原理 に基 づき 、 所定の神経素子 と そ の最隣接素子間 の結合を伝達 可 能な 情報量 に 対 し 、 所定 の神 経素子 と 第二 隣接素子間 の結合 は先情報量の 1 ノ 2 、 該所定 の 神経素子 と 第三 隣 接素子 間 の 結合 は先情報 量 の 1 4 と 顒次減少 す る情報 量を伝達 す る よ う に 決定 す る 請求項 9 項記載の神経回路 網 に よ る 高次情報処理方法 。
    1 1 . 前記長期記憶処理は、 シナプス結合に適切な値 を設定するため に 、 神経回路辋の入力層 とその上の層間 のシナプス結合は入力情報と ラ ンダム し変数の積で、 出 力層 とその下の層間のシナプス結合は出力情報 とラ ンダ ム変数の積で、 その他の層間のシナプス結合は 2 種類の 独立なランダム変数の積で与える手段、 あるいは、 シナ プス結合を 2種類のラ ンダムな変数から生成し 、 それら のラ ンダム変数を出力層か ら の出力情報と 目 標となる情 報の差が小さ く なるよ う に出力層 に結合するシナプス結 合から類次下層のシナプス結合を決定 してゆ く 手段を用 いて実行する請求項 &項記載の神経回路網に よる髙次情 報処理方法。 .
    1 2 . 前記短期記憶処理は、 神経回路網に対するエネ ルギ一の極小値あるいは該エネルギーから導出される動 的方程式の定常状態に記憶を対応させる手段を用 いて実 行する請求項 8 項記載の神経回路網に よる髙次情報処理 方法。
    1 3 . 前記短期記憶処理は 、 すべてのシナプス結合に ラ ンダムな値を設定するこ と に よ り前記動的方程式の定 常状態を出現させ 神経素子に結合するシナプス結合数 を増加するこ と に より その定常状態をある有限個数まで 増加させる こ とを可能に し 、 それ以上結合数を増加 して も安定な定常状態がもはや実現できないカ オディ ッ ク な 状態になる こ と によ り 、 心理学的事実を解明す る処理を 含む請求項 1 2 項記載の神経回路網 に よ る高次情報処理 方法 。
    1 4 . 前記認識処理 は 、 前記特徴油 出 処理で 画像 の線 画や エ ッ ジ など の プ リ ミ テ ィ ブな特徴 を 階層 的 に 抽 出 し そ れ ら のプ リ ミ テ ィ ブな特徴 か ら 認識 に 必要な程度 の髙 次の情報 に 前記特徴統合処理で铳合 し 、 予め学習 に よ り 前記記憶処理で 記憶 し た 高次の情報 と マ ッ チ ン グす る処 理か ら な る請求項 1 項記載の神経回路網 に よ る高次情報 処理方法 。
    1 5 . 前記エ ネル ギ ー の最小化問題を解 く 処理 は 、 運 動方向知覚 、 奥行き知覚な ど の初期視覚処理 を 、 画像 の 輝度 は運動 に 対 し て 不変 に 保た れる こ と な ど か ら 自 然 と 導かれる方程式系 に 基づ く ： ： ネルギ 一 と 、 解 を 唯一 に 決 定 す る た め の先駆的な 制約条件 に 基づ く エ ネ ルギ ー と の 和 を最小化す る処理か ら な る請求項 5 項記載の 神経 回 路 網 に よ る高次情報処理方法 。
    1 6 . 前記神経回路網 に よ る 口 ポ ッ ト マ ニ ピ ュ レ ー タ の制御 の よ う な運勁制御 に お い て は 、 構造的 に 定 め ら れ た 動的方程式 に 従 う 対象を 、 そ の軌道 を 目 標 の 軌道 に 追 従さ せ る よ う に 制御 す る た め に 、 ま ず対象 の 挙動 を同定 す る た め の神経回 路網 を新 た に 構成 し 、 新 た な 神経回 路 網 の 出力 が対象 の 出力 と 等 し く なつ た 時点で の神 経回路 網 で対象 を制御 す る 請求項 1 項記載の神経回 路網 に よ る 高次情報処理方法 。
    1 7 . 前記エ ネ ル ギ ー の 最小化問題 を解 く 処理 は 、 非 定常偏微分方程式 の 解の 安定性が保証 さ れ る 時間差分 に 関 し陰薛法を用 い 、 空間 に関 して は有限差分 、 有限要素 法を用いて差分化 し 、 神経回路網を構成する各神経素子 に差分化 し た変数を割付け、 時間差分に対応 して多層化 し た回路網で上記方程式から導かれるエネルギ 一の最小 化を実行する処理からなる請求項 5 項記載の神径回路耩 に よる高次情報処理方法。 '
    18. シ ミ ュ レーテイ ツ ドアニ ー リ ングと呼ばれる確 率的山登り 法に よ り 多数の極値を持つ 関数 E 又は （ 一 E ) の最小値を求める場合 に おいて 、 確率的に扱う ため に導 入し た温度 Tを用 いて雜音を発生させ、 与え ら れた関数 E の代わ り に exp ( — E / T ) の最大化を考え、 初期状 態か ら最小値を与え 状態までに至る時刻を最小 となる よ う に す く な く とも Eの形状を考慮 し て温度 T を決定 し 、 最小値に達 し た時に は 0 に し 、 誤差な く そ こ に停留させ る こ とを特徴 と する opti ization method 0
    类似技术:
    公开号 | 公开日 | 专利标题
    Lee et al.2018|Machine learning: Overview of the recent progresses and implications for the process systems engineering field
    Chandra2015|Competition and collaboration in cooperative coevolution of Elman recurrent neural networks for time-series prediction
    Tai et al.2016|A deep-network solution towards model-less obstacle avoidance
    Lochmann et al.2011|Neural processing as causal inference
    US9256215B2|2016-02-09|Apparatus and methods for generalized state-dependent learning in spiking neuron networks
    US9436908B2|2016-09-06|Apparatus and methods for rate-modulated plasticity in a neuron network
    Ni et al.2013|Goal representation heuristic dynamic programming on maze navigation
    US9098811B2|2015-08-04|Spiking neuron network apparatus and methods
    Goertzel et al.2010|A world survey of artificial brain projects, Part II: Biologically inspired cognitive architectures
    Kulkarni et al.2018|Spiking neural networks for handwritten digit recognition—Supervised learning and network optimization
    Samsonovich2010|Toward a unified catalog of implemented cognitive architectures.
    CN102402712B|2014-03-05|基于神经网络的机器人强化学习初始化方法
    Van Gelder et al.1995|It’s about time: An overview of the dynamical approach to cognition
    Jilk et al.2008|SAL: An explicitly pluralistic cognitive architecture
    Rahmatizadeh et al.2018|Vision-based multi-task manipulation for inexpensive robots using end-to-end learning from demonstration
    Werbos1992|Neurocontrol and fuzzy logic: connections and designs
    De La Cruz et al.2014|Making fingers and words count in a cognitive robot
    Li et al.2009|Neural-network-based path planning for a multirobot system with moving obstacles
    Sigaud et al.2007|Anticipatory behavior in adaptive learning systems
    JP2810202B2|1998-10-15|ニューラルネットワークによる情報処理装置
    Pierson et al.2017|Deep learning in robotics: a review of recent research
    Bankes et al.2002|Making computational social science effective: epistemology, methodology, and technology
    CN104662526B|2017-12-19|用于高效地更新尖峰神经元网络的装置和方法
    Waterhouse1998|Classification and regression using mixtures of experts
    Tapson et al.2013|Learning the pseudoinverse solution to network weights
    同族专利:
    公开号 | 公开日
    EP0366804B1|1997-12-10|
    EP0366804A1|1990-05-09|
    US5153923A|1992-10-06|
    DE68928484D1|1998-01-22|
    EP0366804A4|1991-01-23|
    DE68928484T2|1998-07-23|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    法律状态:
    1989-10-05| AK| Designated states|Kind code of ref document: A1 Designated state(s): US |
    1989-10-05| AL| Designated countries for regional patents|Kind code of ref document: A1 Designated state(s): AT BE CH DE FR GB IT LU NL SE |
    1989-11-21| WWE| Wipo information: entry into national phase|Ref document number: 1989903795 Country of ref document: EP |
    1990-05-09| WWP| Wipo information: published in national office|Ref document number: 1989903795 Country of ref document: EP |
    1997-12-10| WWG| Wipo information: grant in national office|Ref document number: 1989903795 Country of ref document: EP |
    优先权:
    申请号 | 申请日 | 专利标题
    JP63/69420||1988-03-25||
    JP6942088A|JPH01243176A|1988-03-25|1988-03-25|System for searching minimum and maximum values|
    JP63232377A|JPH0281280A|1988-09-19|1988-09-19|Higher order information processing system by neural circuit network|
    JP63/232377||1988-09-19||EP89903795A| EP0366804B1|1988-03-25|1989-03-24|Method of recognizing image structures|
    DE68928484T| DE68928484T2|1988-03-25|1989-03-24|Verfahren zum erkennen von bildstrukturen|
    [返回顶部]